LINEヤフーの研究開発

その他 (国内) ReflecGesture: 角膜反射画像を利用したジェスチャ入力

大森 悠生 (慶應義塾大学), 中村 裕大 (慶應義塾大学), 池松 香, 加藤 邦拓 (日本女子大学), 杉浦 裕太 (慶應義塾大学)

ヒューマンインタフェースシンポジウム 2026 (HI2026)

2026.9.16

This study proposes a gesture input method using corneal reflection images captured by a smartphone’s front-facing camera. A convolutional neural network (CNN) classifies hand gestures from images of the hand reflected on the cornea. The proposed method achieved approximately 60% accuracy in both seven- and five-class gesture classification tasks. This paper reports the implementation of a prototype system, including training data collection and model training.

Paper : ReflecGesture: 角膜反射画像を利用したジェスチャ入力 （外部サイト）