FMKit提出『手指比划』AR/VR输入解决方案

(映维网 2020年06月20日)尽管MR头显厂商在融合真实世界和数字世界方面越发精进，但作为与VR或AR环境交互的能力，输入一直是难以解决的巨大挑战，因为控制器依然是大多数交互的必要工具。本周，美国亚利桑那州立大学的研究人员展示了一种名为FMKit的替代方案。它可允许头显精确追踪每根手指的运动，并且能够识别悬空比划。

与Leap Motion配件和Oculus Quest手部追踪功能不同的是，FMKit可以在3D空间记录单根手指的路径，并与四组手写样本数据进行比较。系统可通过指尖比划来识别单个用户，用密码安全地验证用户身份，并且能够创建文本输入，将其作为使用控制器输入文本或选择单词的替代方案。

相关项目：FMKit – A Library and Data Repository for In-Air-Handwriting Analysis

另外，将悬空书写的英文或中文单词转换成文本的潜在商业应用同样令人感到兴奋。你可以通过悬空比划一个独特的签名来解锁XR头显或单独的应用，允许企业高度定制数字内容的保护方案。另外，企业可允许团队共享一个超越数字或字母的通用密码系统，识别诸如五角星或其他特殊标记等符号。

FMKit目前支持两种类型的输入设备，一种是以每秒110次扫描速度工作的Leap Motion控制器;另一种是以每秒50次扫描速度工作，并使用Python模块来收集、预处理和可视化扫描信号的定制惯性测量数据手套。作为一款用户识别系统，FMKit搭配Leap Motion的精确率达到93%以上，而搭配手套则接近96%。但对于手写识别，Leap Motion的效果更好，系统识别单词的精度最高达到87.4%。这尚不足以取代语音输入，但对于只能使用手指和头戴式传感器的系统而言，这是一个不错的开始。

亚利桑那州立大学的Duo Lu, Linzhen Luo, Dijiang Huang, and Yezhou Yang已经将FMKit的源代码托管至GitHub，他们希望其他研究人员能够利用这个包括库和数据集的开源项目来扩展研究。另外，作品在CVPR 2020大会中的增强现实和虚拟现实计算机视觉研讨会中展示了所述研究。