苹果新AR/VR专利通过IMU识别物理环境中的用户触碰操作

(映维网 2020年04月07日)今天的电子设备为用户提供了众多与周围世界交互的方式。例如，用户可以使用键盘、鼠标、触碰屏、触碰笔和操纵摇杆等与电子设备进行交互。

随着混合现实技术的兴起，用户往往会通过额外的方式提供输入。作为一个例子，用户可以触碰真实对象并以混合现实的方式与之进行交互。但是，真实对象交互通常不包括用于检测用户触碰的触碰传感器。

作为说明，用户经常与数字信息交互的一种方式是通过触碰屏界面。触碰屏界面允许用户使用手指、触碰笔或其他方式与显示表面进行交互。触碰传感器可以识别触碰区域并向用户提供响应。

针对这种情况，苹果为混合现实提出了名为“Imu For Touch Detection”的专利申请，并描述了诸如手表或指环的可穿戴设备。

值得一提的是，苹果早前曾提出过多份用于AR/VR的指环式设备发明，如“Finger-mounted device with sensors and haptics”。

专利主要描述了用于对物理表面进行触碰的系统。总的来说，苹果介绍了一种使用惯性测量单元(IMU)识别用户何时在物理环境中触碰表面的技术，以及一种提供相关响应技术。

根据一个或多个实施例，诸如手表或指环这样的可穿戴式设备可由与物理环境交互的用户佩戴。所述可穿戴设备可包括IMU。IMU可用于跟踪力、加速度或声学信号。

在一个或多个实施例中，可穿戴设备可由用户在物理环境中佩戴。特别地，可穿戴设备可穿戴于手臂、手腕或手指。在一个或多个实施例中，可根据来自IMU的传感器数据确定触碰事件。例如，检测到的力可以指示触碰事件。触碰事件可以指示触碰对象和表面之间的接触。表面可以是实际环境中的对象的一部分，或者可以是用户的另一部分，如手或手指。

为了响应于检测到触碰事件，可以获得触碰事件的触碰图像。所述触碰图像包括触碰对象和被触碰表面。触碰图像可以由第二设备捕获。所述触碰图像可以是RGB图像或深度图像。根据触碰图像，可以确定被触碰表面，并且可以根据被触碰表面向用户提供响应。

在一个或多个实施例中，可利用触碰图像生成或细化触碰对象的模型。具体而言，由第二设备捕获的图像可以不捕获触碰对象与表面接触的部分。但在一个或多个实施例中，关于触碰对象在触碰点的几何形状数据可以根据触碰图像的深度信息进行确定。例如，深度图像可以从触碰点被触碰对象遮挡住的角度来获取。例如，从用户的角度来看，触碰表面的指尖可以被手遮挡住。

可根据来自触碰图像和触碰检测的综合数据，生成或完善触碰对象的模型，如手指、手或手臂。例如，即使手指的触碰部分被遮挡，系统都可以根据手指所触碰表面的相对位置，以及触碰图像中手指的可见部分的深度信息来确定手指的特定长度。触碰图像可以作为参考图像来确定手指和表面之间的接触状态。例如，可以通过比较参考图像和当前捕获的图像来确定释放运动，即手指远离表面。

在一个或多个实施例中，可利用触碰图像来确定触碰的假阳性。例如，IMU可以根据特定的力来检测触碰，但力可以与触碰无关。作为一个例子，力可以与手臂或手腕的抽搐有关。相应地，在一个或多个实施例中，第二设备可在检测到触碰事件时捕获触碰图像，并根据触碰图像确定触碰事件是不是真正的触碰事件。例如，在检测到触碰事件时，如果所捕获的图像显示触碰对象不在表面附近，则可以确定检测到的触碰事件是假阳性触碰事件。基于深度学习的方法可以用来将真实的触碰事件与其他非触碰事件进行分类。分类可以基于IMU数据进行分类。深度学习网络可以是LSTM(长短期记忆)、RNNN(循环神经网络)或任何时间相关的网络。