编译/VR陀螺

近日，美国商标专利局发布了一项苹果公司的专利，涉及具有物体移动检测功能的头戴式显示设备。

苹果公司在其专利中指出，该专利公开的各种实施方案用于检测处于头戴式设备（HMD）视场中的移动物体。在各种实施方案中，HMD包括显示器、事件摄像头以及相关的处理器。

在某些实施方案中，该方法包括根据与一个或多个物体相关联的深度数据，合成描述事件摄像头视场中一个或多个物体特征的第一光流。在某些实施方案中，该方法包括根据事件摄像头提供的事件图像数据，确定描述事件摄像头视场中一个或多个对象的第二光流。在某些实施方案中，该方法包括根据第一光流和第二光流确定一个或多个物体中的第一物体正在移动。

在各种实施方案中，头戴式设备（HMD）包括摄像头和显示器。在某些实施方案中，摄像头包括一个面向场景的摄像头。在某些实施方案中，显示屏呈现摄像头视场中物体的视觉呈现。

在各种实施方案中，HMD 是可移动的。例如，佩戴 HMD 的用户可以倾斜和/或旋转 HMD，随着 HMD 的移动，摄像头视场中的物体也会发生变化。在各种实施方案中，HMD 可能需要识别正在移动的物体。在某些实施方案中，HMD 可能需要在 HMD 移动时（例如，在 HMD 旋转、倾斜和/或平移时）识别正在移动的物体。

在各种实施方案中，HMD 利用来自事件摄像头的图像数据来识别正在移动的物体。在某些实施方案中，HMD 合成第一光流（例如，预期光流），该光流描述事件摄像头视场中的一个或多个物体。

HMD 会根据事件摄像头提供的事件图像数据确定第二光流（例如，当前光流），该光流用于描述事件摄像头视场中的物体。在某些实施方案中，HMD 根据第一光流和第二光流确定事件摄像头视场中的一个物体正在移动。例如，HMD 根据当前光流不同于预期光流来确定其中一个物体正在移动。

HMD 还会显示场景中的物体正在移动的指示。在某些实施方案中，当 HMD 的显示器显示与场景不对应的内容时（例如，当显示器显示与游戏、电影或视频聊天对应的内容而不是显示场景中物体的视觉表示时），HMD 会显示该指示。在某些实施方案中，HMD 会指示事件摄像头视场中的哪个物体正在移动。

图源：Apple Patent 11838492

图 1 是根据某些实施方案的示例操作环境 #100 的框图。作为一个非限制性示例，操作环境 #100 包括控制器 #200 和HMD #300。在图 1 的示例中，HMD #300 位于场景 #105（例如，会议室等地理位置）。在图 1 的示例中，场景 #105 包括各种物体，如狗 #160a 和球 #160b。如图 1 所示，用户 #110 可以佩戴 #HMD 300。

在一些实施例中，控制器 #200 被配置为管理和协调用户 #110 的AR/VR)体验。在一些实施例中，控制器 #200 包括软件、固件和/或硬件的适当组合。

图源：Apple Patent 11838492

图 2 是根据某些实施方案的控制器 #200 示例的框图。在某些实施方案中，一个或多个通信总线 #204 包括用于互连和控制系统组件之间通信的电路。在某些实施方案中，一个或多个 I/O 设备 #206 包括键盘、鼠标、触摸板、操纵杆、一个或多个麦克风、一个或多个扬声器、一个或多个图像传感器、一个或多个显示器、触摸感应显示器和/或类似设备中的至少一种。

图源：Apple Patent 11838492

图 4 是根据某些实施方案绘制的 HMD #300 框图。在各种实施方案中，数据获取单元 #342 获取场景 #105 的 3D 模型 #352。在某些实施方案中，数据获取单元 #342 获取与场景相关的深度数据 #354。

在某些实施方案中，数据获取单元 #342 从 3D 模型 #352 中检索深度数据 #354。而深度数据 #354 显示场景 #105 中各种物体相对于 HMD #300 的位置。换句话说，在某些实施方案中，深度数据 #354 表示每个物体距离 HMD #300 有多远。

在某些实施方案中，数据获取单元 #342 从深度摄像头 #314b 获取深度数据 #354。数据获取单元 #342 从控制器 #200 接收三维模型 #352 和/或深度数据 #354。而数据获取单元 #342 会将深度数据 #354 提供给光流确定单元 #346。

在各种实现方式中，光流确定单元 #346 根据深度数据 #354 合成场景 #105 的预期光流 (OF) #358。在某些实施方案中，预期光流 #358 会描述事件摄像头 #314a 视场中的物体。

例如参照图 1，预期光流 #358 描述了事件摄像头 #314a 视场 #316 中的狗 #160a 和球 #160b。在某些实施方案中，HMD #300（例如光流确定单元 #346）从另一个实体（例如控制器 #200）接收场景 #105 的预期光流 #358。在某些实施方式中，光流确定单元 #346 将预期光流 #358 提供给运动检测单元 #348。

来源：Apple Patent 11838492