编译/VR陀螺

近日，美国专利商标局正式公布了一系列与苹果公司的眼球和手部追踪技术有关的三项授权专利。这三项专利都涉及该技术的不同方面，第一项专利涉及3D绘图技术，允许在桌面或未来设备上进行手部和眼部追踪。另外两项专利更侧重于苹果公司未来头戴式设备（如 VR 头显）中使用的技术。

追踪手部和眼部指令的3D传感系统

2013年，当苹果收购以色列公司PrimeSense时，最初是为了开发iPhone X的Face ID。尽管在Face ID之外，苹果获得了很多与手部和眼睛注视控制有关的知识产权。

近日获批的授权专利与计算机化系统的用户界面有关，特别是与基于三维感应的用户界面有关。

根据本发明的一个实施方案，一个设备包括一个传感装置，该装置被配置为接收一连串的三维（3D）地图，至少包含一个物理表面、一个或多个定位在物理表面上的物理物体，以及一个用户的手，该手定位在物理表面的附近。一台投影仪和一台与传感设备和投影仪耦合的计算机，并被配置为分析3D地图以检测用户的手势，使用投影仪在物理表面上呈现响应手势的动画，并将一个或多个物理物体纳入动画中。

图源：patentlyapple

苹果公司的专利图1是一个实现非触觉3D用户界面的计算机系统的示意性图解；图3是一个流程图，示意性地说明了检测注视点和手势的方法。

微软早在多年前就在其Xbox Kinect上采用了这项技术，考虑到这项技术在Kinect上运行得如此之好，而苹果公司坐拥这项技术这么久都没有实施，着实令人惊讶。苹果是否打算在未来使用这项技术仍是未知数。它可能被纳入他们即将推出的第一代头戴式VR头显、未来的Mac、iPad、Apple TV，也许还有未来的汽车。

关于这项发明的更多细节，请查阅苹果公司的授权专利11,169,611。

基于注视点的位置估计

苹果公司的第二项眼动追踪相关专利涉及利用注视点确定计算机生成的现实环境中的物体位置的技术。根据一些实施方案，用户使用其双眼与由电子设备在计算机生成的现实环境中显示的用户界面对象进行交互。这些技术对虚拟现实和增强现实设备和应用是有利的。

在一些实施例中，这些技术包括：在具有一个或多个摄像头的电子设备上，确定通过一个或多个摄像头检测到的用户的第一只眼睛的第一注视方向以及用户的第二只眼睛的第二注视方向；确定第一注视方向和第二注视方向的汇合点；根据汇合点确定用户的位置和环境中物体的位置之间的距离；以及根据确定的用户位置和环境中物体的位置之间的距离执行任务。

苹果公司的专利图7A-7C说明了利用注视点追踪检测生成物理环境的三维重建的示例性技术。

图源：patentlyapple

专利图7A-7C说明了一个实施方案，其中电子设备#250正在跟踪用户（#200）在真实环境（#700）中的注视点，并生成真实环境的三维重建，该环境可以选择性地显示在计算机生成的现实环境#710中。图7A-7C的A部分描述了从俯视角度显示的真实环境#700，其中设备#250被定位在用户#200上，而物理对象#704和#706被定位在物理桌子#702上。图7A-7C的B部分描绘了电子设备#250，该设备从用户#200的角度显示。设备#250有显示屏#255和摄像头#260，用于检测用户眼睛的注视点。设备#250显示计算机生成的现实环境表示#710，其中显示了真实环境的部分，这些部分已经被设备重建，以便在计算机生成的现实环境中显示。

苹果公司的专利11,170,521题为 "基于眼睛注视的位置估计"，是一项非常详细的专利，可点此查看更多专利谢姐。

融合眼动追踪的传感器

苹果的第三项眼动追踪相关专利涉及头戴式设备的远程眼动追踪，特别是涉及为相对于眼睛移动的HMD提供远程眼动追踪的系统、方法和设备。

在一些实施方案中，远程眼动跟踪通过使用单一的主动照明源和深度信息识别三维坐标系中沿注视方向的两个位置（例如，角膜中心和眼球旋转中心）来确定注视方向。在一些实施方案中，第一位置（例如，角膜中心）是使用基于主动照明源的闪光和来自深度传感器的深度信息确定的，第二位置（例如，眼球旋转中心）是使用RGB传感器（例如，环境光）和深度信息确定的。

在一些实施方案中，使用同一主动照明源的单一传感器确定第一位置（例如，角膜中心）和第二位置（例如，眼球旋转中心），并且该单一传感器同时确定深度信息和闪光信息。在一些实施方案中，远程眼动跟踪是由移动电子设备提供的。

在一些实施方案中，远程眼动追踪能确定三维坐标系中的头部姿势以及眼睛的位置（例如，眼球旋转中心），然后确定头部姿势和眼睛位置之间的空间关系。在一些实施方案中，该空间关系是唯一确定的（例如，用户特定的变换）。在一些实施方案中，空间关系是在远程眼动追踪的注册模式中确定的。

随后，在远程眼动追踪的追踪模式的一些实施方案中，只有特征检测图像（例如，RGB相机图像）和空间关系被用来执行远程眼动追踪。在一些实施方案中，深度信息和主动照明会被关闭（例如，减少功耗）。

图源：patentlyapple

苹果公司的专利图3是一个框图，描述了眼球的三维表示，以说明协助远程眼动追踪的眼球建模实施例。

欲了解更多细节，请查阅苹果公司的授权专利11,170,212。

图源：patentlyapple