编译/VR陀螺

近日，美国商标专利局公布了苹果公司一项专利，该专利涉及使用一个或多个关键帧进行透视校正的方法和设备。

具体来说，该专利涉及在头戴式设备上执行透视校正的方法，该设备包括一个或多个处理器、非暂时性存储器、图像传感器和显示器。该方法包括使用图像传感器从各自的多个视角捕捉场景的多个图像、使用图像传感器从当前视角捕捉场景的当前图像、获取场景当前图像的深度图、使用一个或多个处理器，基于深度图、图像传感器的当前视角与用户的当前视角之间的差值，以及从各自的多个视角拍摄的多个场景图像中的至少一个，转换场景的当前图像。该方法还包括在显示器上显示转换后的图像。

在带有显示屏和场景摄像头的 HMD 中，由于眼睛、显示屏和摄像头在空间中的位置不同，显示屏上呈现给用户的图像可能并不总是能反映出与真实世界相同的图像。这会导致在与真实世界交互时，出现距离感差、迷失方向以及手眼协调能力差等问题。

苹果专利指出，在各种实施方案中，对眼睛、显示器和摄像头不同位置的补偿是通过转换场景摄像头捕获的图像来实现的，这使呈现出来的图像看起来就像在与用户眼睛相同的位置捕获的一样（例如，使捕获的图像看起来就像用户在未佩戴 HMD 时观看场景一样）。这种转换可能是不完整的，因为可能会有一些物体不在场景摄像头的视场中。这就导致转换后的图像出现漏洞。不过，在不同的实施方案中，这些漏洞可以利用其他时间拍摄的其他图像的信息来填补。

图源：Apple Patent 11838486

图 1 是根据某些实施方案的示例操作架构 #100 的框图。作为一个非限制性示例，操作环境 #100 包括控制器 #110 和头戴式设备 (HMD) #120。根据某些实施方案，当用户虚拟地和/或实际地存在于场景 #105 中时，HMD #120 向用户呈现 CGR 内容。

在一些实施方案中，控制器 #110 被配置为管理和协调为用户呈现 CGR 内容。在某些实施方案中，控制器 #110 包括软件、固件和/或硬件的适当组合。在另一个示例中，控制器 #110 包括在 HMD #120 的外壳内。

在某些实施方案中，HMD #120 被配置为向用户呈现 CGR 内容。HMD #120 包括软件、固件和/或硬件的适当组合。在某些实施方案中，控制器 #110 的功能由 HMD #120 提供和/或与 HMD #120 结合使用。

图源：Apple Patent 11838486

专利图 4 展示了与捕获场景图像和显示捕获的场景图像相关的示例场景 #400。用户佩戴的设备包括显示屏 #410 和场景摄像头 #430。场景摄像头 #430 捕捉场景图像（例如，用户所在物理环境的图片），显示器 #410 向用户的眼睛 #420 显示场景图像。场景摄像头 #430 的视角（例如，场景摄像头 #430 的图像传感器所在位置）与用户的视角（例如，用户眼睛 #420 所在位置）在垂直方向上偏移了一个垂直偏移量 #441。

此外，场景摄像头 #430 的视角与用户的视角在纵向上有一个偏移量 #442。此外，在各种实施方案中，场景摄像头 #430 的视角与用户视角之间存在横向偏移（例如，进入或离开图 4 中的页面）。

想了解更多专利详情，可查阅苹果专利申请11838486。

图源：Apple Patent 11838486