编译/VR陀螺

苹果Vision Pro的眼动追踪技术是推动苹果这款空间计算设备超越其他头显的关键技术之一。上周，美国专利商标局公布了苹果公司的又一项专利申请，该专利特别涉及到为Vision Pro提供基于视网膜成像的调节检测（即聚焦）的系统和方法。

苹果公司在其专利背景中指出，存在各种眼动追踪技术。例如，有些注视追踪技术是基于检测眼睛外部的反射，如光线射向眼睛，在瞳孔和角膜上产生可探测到的反射，这些反射由摄像头追踪，以确定注视方向。例如，通过确定角膜和瞳孔之间与注视方向相对应的矢量。现有的眼动追踪技术可能无法充分追踪眼睛调节（即聚焦）。

基于视网膜成像的眼睛调节检测

苹果公司的专利申请涵盖了使用视网膜成像技术来评估用户在使用电子设备（例如，实时）过程中的眼睛调节（即聚焦）的系统、方法和设备。

一个或多个光源将光线射向视网膜上的一个或多个光点，这些光点可通过传感器检测到。光点的大小和形状取决于眼睛的调节/聚焦情况，因此可用于识别调节/聚焦变化或测量眼睛的调节/聚焦情况。当用户通过电子设备观看电子内容、与电子内容进行交互或以其他方式体验电子内容时，可实时确定眼睛的聚焦情况。

某些实施方案涉及一种方法，该方法通过执行存储在电子设备非暂时性存储器中的指令的处理器来执行。这种方法可能涉及在具有处理器和光源的电子设备上，使用光源产生光（例如红外线或可见光），将光引向眼睛视网膜上的光点。

例如，可以使用一个或多个准直照明器将光射向视网膜上的一个或多个点。光源可以相对于眼睛的轴线以离轴方式定向。该方法在传感器（如摄像头）上接收传感器数据（如图像）。传感器数据与视网膜上的发光点相对应。例如，传感器数据可包括一个或多个具有图像部分的相机图像，例如，与视网膜外观相对应的像素，包括在被照亮点上反射的光。

该方法根据传感器数据确定眼睛调节特性。在某些实施方案中，眼睛调节特性是根据视网膜上被照亮点的大小或位置确定的。确定眼睛调节特性可包括检测眼睛调节的变化或找到眼睛调节的估计值（例如代表眼睛调节的数值）。在某些实施方案中，确定眼睛调节特性涉及将视网膜图像与之前的视网膜图像进行比较，以确定照明光斑大小和/或位置的变化。

在某些实施方案中，光斑被识别（例如，通过大小、形状和/或位置）和/或与视网膜上其他较少照明的部分区分开来。可以通过算法（例如基于阈值）和/或使用机器学习 (ML) 模型来识别光斑。ML模型可用于评估/比较光斑的大小和/或位置和/或多个光斑之间的关系。

图源：patentlyapple

苹果专利图 8 是一个示例头戴式设备 (HMD) 的框图，我们现在知道它就是 Vision Pro；图 3 展示了一个或多个照明器在第一调节/对焦状态下将光线射向眼睛视网膜上的光点；图 4 展示了视网膜的图像，其中包括图 3 中照明的光点。

苹果专利图 5 展示了图 3 中的一个或多个照明器在第二调节/聚焦状态下将光线引向眼睛视网膜上的光点；图 6 展示了视网膜的图像，其中包括图 5 中照明的光点。

在某些实施方案中，Vision Pro包括用于检测眼球位置和眼球运动的眼动追踪系统。眼动追踪系统可包括一个或多个照明器，例如一个或多个红外（IR）发光二极管（LED），这些照明器发出的光从用户的眼睛反射并通过传感器捕捉，例如近红外（NIR）摄像头。

在一个示例中，Vision Pro的一个或多个照明器可以向用户眼睛视网膜上的一个或多个光点发射近红外光，传感器会捕捉用户眼睛的图像，包括被照亮的光点。在某些实施方案中，可对眼动追踪系统捕获的图像进行分析，以检测用户眼睛的位置和运动，从而检测有关眼睛的其他信息，如注视方向，和/或检测眼睛的调节/聚焦。此外，通过眼动追踪图像估算出的注视点可实现基于注视的内容交互。

要了解该专利的全部细节，请查看苹果专利申请20230329549。

来源：patentlyapple