美国专利和商标办公室今天批准了68项苹果公司新申请的专利。这其中包含一项和未来沉浸式AR十分有关系的专利，可以用在iMacs设备的Face Time功能上，以及未来的头显设备上。  专利：光场捕捉 苹果新的专利发明涉及其涉及操作，系统和计算机可读介质，使用相机阵列并且基于观看者的角度（POV）处理捕获的图像，可以用于沉浸式AR，直播显示屏墙，头显，视频会议和类似应用。  背景 近年来，使用沉浸式AR，显示墙，头显和视频会议有所增加。视频会议是在两个或多个方之间进行的在线会议，每方可以听到声音并看到另一方的图像。在视频会议中，各方通过终端，例如台式计算机系统，平板电脑系统，电视屏幕，显示墙或智能电话在每个站点参与。终端通常包括用于捕获音频的麦克风，用于捕获图像的网络摄像头，用于处理捕获的音频和视频信号的一组硬件或软件，用于在各方之间传输数据的网络，用于播放语音的扬声器，以及显示图像。在这样一个传统的设置中，观众只能看到他对手方和她的场景的固定视角，观众只能看到对方的网络摄像头所捕获的内容。此外，当观众在会议期间从一个位置移动到另一个位置时，他的POV可以改变。然而，由于在对手方网站上的图像捕获的限制，观看者只能始终从同一视角看到图像。  光场相机 苹果的发明描述了一种与沉浸式增强现实，实时显示墙，头戴式显示器和视频会议应用程序相关，并可用于图像捕捉和处理的技术。 在一个案例中，搭载该技术的设备由相机阵列捕获的图像向观看者提供完整的视图。 在另一个例子中，设备从一个位置移动到另一个位置时，可以跟踪观看者的观点（POV），并且根据他变化的POV显示图像。 观众POV的变化包括例如X，Y和Z尺寸的运动。 例如，在视频会议期间，每方都通过终端参与会议。 每个终端包括显示器，照相机阵列，图像处理单元（硬件和软件）以及网络连接（通过电缆或无线连接）。 每个相机阵列可以包括多台相机。 相机阵列可以捕获图像（包括颜色RGB，YUV，YCC等）。 摄像机阵列也可以捕获深度，通过捕获信息以计算深度（例如，结构光，飞行时间，立体图像等），或者计算每方的其他深度，同时跟踪该方的POV（比如以某人的头部或眼睛位置为代表）。 观众POV的数据可以由观众的终端发送，并且由发声的人的终端通过网络连接接收。 苹果公司还指出：“发声者终端内的图像处理单元可以根据观众的POV来处理发声者的拍摄图像，而图像处理操作可以对基于观看者的POV所拍摄的图像进行修剪像素的剔除操作。剔除操作的目的是减少处理数据量。由于处理后的数据最终将从一方传输到另一方，因此剔除可以减少传输数据量，节省带宽，减少延时。” 在剔除之后，图像处理单元可以将来自各个摄像机的三维空间的剩余像素映射到二维显示空间。 接下来，映射像素的数据可以由发声者的终端发送并通过网络连接由观众的终端接收。 随后，观众终端内的图像处理单元可以混合映射的像素并组合准备好显示的图像（即“帧”）。 另外，发声者的POV可以被观众的终端用来处理观看者的拍摄图像。 观看者终端内的图像处理操作可以“映照”发声者终端内的处理。 在视频会议中，每方对于对方来说都是发声者和观众。 因此，上述在观众和发声者的场所描述的图像捕获和处理操作，在每个终端内是同时且连续地进行的。 这为每方提供了基于该方的POV的对手方的帧（即实时视频）的连续显示。 此外，相机阵列可以单独摆出，或者集成到显示器中。 对于诸如沉浸式增强现实的应用，直播显示墙和头戴式显示器，其中可能只有一个观看者，终端可以存在不对称的情况，因为观众方可能没有相机阵列。 光场相机正在彻底改变我们在视频和静止图像中观看图像的方式。 今天的iPhone 7 Plus可让用户在拍摄照片时选择人像模式。 此功能自动创建具有散景效果的照片。 这种效果可以做到人物或物体在图像的最前端是清晰的，而背景图像是模糊。 随着这种新光场技术的添加，iPhone摄像头的用户将能够更进一步，在拍摄完照片后随意更改焦点。 关注微信公众号：VR陀螺（vrtuoluo）,定时推送，VR/AR行业干货分享、爆料揭秘、互动精彩多。