编译/VR陀螺

近日，美国专利商标局公布了苹果公司的一项新专利申请，题为“使用高效图像捕捉和聚散度以及瞳孔间距离历史记录进行眼动追踪”。该发明涉及苹果 Vision Pro 或未来智能眼镜形式的 HMD。

苹果公司的发明涵盖了通过交错捕捉每只眼睛的图像，并在捕捉期间预测用户眼睛的特征，从而追踪用户眼睛特征（如注视方向或瞳孔位置）的实现方法。

用户眼睛的图像以错开的方式进行捕获，即第二只眼睛的图像在第一只眼睛的图像捕获时间之间进行捕获，反之亦然。

一些实施方案提供了一种设备，可通过交错捕捉每只眼睛的图像来追踪用户两只眼睛的注视方向，并使用聚散历史来预测捕捉期间的中间帧中另一只眼睛的注视方向。

例如，为了以 N 帧/秒的速率确定双眼的注视方向，可以以 N/2 帧/秒的速率交错捕捉每只眼睛的图像，第一只眼睛和第二只眼睛的图像捕捉之间间隔 1/N 秒，并且可以根据另一只眼睛在每个中间帧时间的注视方向和当时的预测聚散度来预测每只眼睛在帧之间的中间注视方向。

在一个示例中，设备包括一个或多个图像传感器，配置为交错捕获用户第一只眼睛和第二只眼睛的图像，其中第一只眼睛的图像在捕获时间以大约第一帧速率捕获，第二只眼睛的图像在第一只眼睛图像的捕捉时间之间捕捉。

某些实施方案提供了一种设备，可通过交错捕捉每只眼睛的图像来追踪用户两只眼睛的瞳孔位置，并使用瞬时 IPD 来预测中间帧的另一只眼睛的瞳孔位置。

例如，要以 N 帧/秒的速度确定双眼的瞳孔位置，可以 N/2 帧/秒的速度交错捕捉每只眼睛的图像，并根据每帧中间时间另一只眼睛的瞳孔位置和当时预测的瞬时 IPD 预测每只眼睛帧间的中间瞳孔位置。

苹果公司的专利图 1 展示了一个用于追踪用户眼睛的示例设备。图 1 展示了使用具有两个眼部摄像头 #120a 和 #120b （每只眼睛一个摄像头）的设备（#100）追踪用户的两只眼睛 #125a 和 #125b。

该设备（例如眼镜设备或其他HMD）包括两个眼部摄像头（#120a 和 #120b）、两个照明器（#122a 和 #122b）和两个内容查看部分（#130a 和 #130b）。这些组件可以嵌入或连接到设备#100的外壳或其他部分。例如，如果设备#100是眼镜设备，两个眼部摄像头和照明器可以嵌入眼镜设备的框架部分（未显示），该框架部分环绕或支撑两个内容查看部分。

图源：patentlyapple

苹果专利图 2 展示了捕捉眼球图像用于眼动追踪的示例时间轴。

下面的苹果专利图 7 展示了单眼水平注视角示例；图 8 展示了水平聚散度示例；图 9 展示了用于确定垂直聚散的单眼垂直注视角示例。

图源：patentlyapple

苹果专利图 10 是追踪眼睛特征方法的流程图；图 11 是图 1 示例设备的组件框图。

想要更深入了解苹果公司的发明，请查阅苹果公司的专利申请号20230239586。

来源：patentlyapple