编译/VR陀螺

今天，美国专利商标局正式授予苹果公司一项专利，该专利涉及利用基于血流追踪的机器学习生成下一代逼真的虚拟化身。苹果公司技术开发集团副总裁Mike Rockwell在介绍苹果Vision Pro时提出了示例。

Rockwell表示：“对于像FaceTime这样的数字通信，Vision Pro不仅仅能传达你的眼睛，还能创造一个真实的你。这是我们在开发Vision Pro时面临的困难挑战。我们利用机器学习技术，创造了一种新颖的解决方案。”

在使用Vision Pro的前置传感器进行快速注册后，系统会使用编码器-解码器神经网络创建用户的数字化身。这个网络是在数千人的不同群体中训练出来的。它能提供自然的表现形式，动态匹配用户的面部和手部动作。用户有了“角色”，就可以与十多亿台支持FaceTime的设备进行交流。当他人在另一个Vision Pro中观看时，用户的“角色”会呈现出传统视频无法达到的体积和深度。

基于机器学习的血流追踪

苹果公司获得的专利涉及利用基于机器学习的血流追踪技术生成虚拟化身的系统、方法和计算机可读介质。为了生成逼真的化身，可以根据主体可能做出的面部表情来模仿血流动向。也就是说，当一个人说话或做出不同的面部表情，或做任何其他使面部变形的动作时，血液会在面部周围以不同的方式流动。当血液移动时，受试者脸部的颜色可能会因血流的变化而改变（例如，受试者的血液集中在皮下的位置）。该过程可包括训练阶段和应用阶段。

第一阶段包括根据使用摄影测量系统捕获的血流图像数据训练纹理自动编码器。拍摄对象的许多图像都有不同的表情，这样就可以获得表情与面部血流显现方式之间的基本真实数据。可以通过从反照率图中提取光照分量来确定血流量。反照率图描述的是具有完美漫射光的脸部纹理，以及被摄体皮肤的静态版本。

因此，提取的照明分量显示了特定表情从反照率贴图中偏移的位置。因此，纹理自动编码器可将主体的表情映射到二维血流纹理图。在一个或多个实施例中，纹理自动编码器可将一系列表情视为输入，从而生成特定的二维血流纹理图。

第二阶段包括利用二维血流纹理图生成虚拟化身。例如，可以使用多通道渲染技术生成化身，在多通道渲染过程中，将二维血液纹理图作为附加通道进行渲染。

再比如，可以根据二维血液纹理图将特定表情的血流纹理叠加到主体的三维网格上。

在本专利中，自动编码器指的是一种用于以无监督方式对数据进行分类的人工神经网络。自动编码器的目的是以优化的形式学习一组数据的表示方法。经过训练的自动编码器将具有编码器部分、解码器部分和潜变量，它们代表数据的优化表示。

该专利涉及自然虚拟化身创建，可用于未来的iPhone、iPad、Mac 和苹果Vision Pro。

图源：patentlyapple

苹果专利图 2 显示了网格和纹理自动编码器的训练流程图；图 5 显示了利用血液纹理贴图渲染虚拟化身的方法流程图；图 6 显示了化身生成流程图。

图源：patentlyapple

苹果专利图 3 显示了一个流程图，其中训练了一个神经网络，以提供表情和血流纹理之间的映射。

想了解更多专利详情，请查阅苹果公司的授权专利11830182。

来源：patentlyapple