编译/VR陀螺

Facebook的研发部门Facebook Reality Labs一直在领导使虚拟现实化身变得逼真的研究，该小组的新研究旨在支持新颖的面部表情，以便用户可以准确看到其他人在VR中的表情。

前身：Codec Avatar

如今，虚拟现实中使用的大多数虚拟化身都是卡通形象，这主要是为了避免“恐怖谷”效应。

Facebook Reality Labs的“ Codec Avatar”项目旨在通过结合使用机器学习和计算机视觉来创建超逼真的用户表示形式，而跨越恐怖谷效应。该系统通过训练以了解人的面部表情，然后根据VR头显内部摄像头的输入来重新创建外观。该项目展示了一些真正令人印象深刻的结果。

要以令人信服的精确度重新创建典型的面部表情已经是一个挑战，但是接下来要处理的边缘案例数不胜数，其中任何一个案例都可能使整个系统失效，并将虚拟角色重新拉入恐怖谷效应中。

Facebook研究人员说，最大的挑战是“对所有可能的[面部表情]进行统一采样是不切实际的”，因为人们存在多种多样的方式可以扭曲自己的脸。最终，这意味着系统的示例数据之间存在差距，当看到新的东西时会感到困惑。

后继者：Modular Codec Avatars

多伦多大学向量研究所和Facebook Reality Labs的研究人员Hang Chu、 Shugao Ma、Fernando De la Torre、Sanja Fidler和 Yaser Sheikh在最近发表的题为《通过模块化编解码器虚拟化身实现表达远程呈现》的研究论文中提出了一种解决方案。

原始的编解码器化身系统希望将其数据集中的整个面部表情与所看到的输入进行匹配，而模块化编解码器化身系统则将任务按各个面部特征（如每只眼睛和嘴巴）进行划分，从而使其能够最准确地合成通过融合知识中几种不同姿势的最佳匹配来构成表情。

在模块化编解码器化身中，模块化编码器首先在每个安装了摄像机的头显的视图中提取信息。随后是一个模块化合成器，它可以从同一模块化分支中提取的信息中估算出全脸表情及其混合权重。最终，多个预估的3D人脸从不同的模块中聚合并融合在一起以形成最终的人脸输出。

目的是提高无需输入系统更多训练数据即可准确表示的表达式范围。与原始编码解码器化身系统相比，模块化编码解码器化身系统的设计更擅长于推断人脸，而原始编码解码器化身系统更依赖于直接比较。

这种方法的主要好处之一是提高了系统重新创建最初没有训练过的新颖面部表情的能力，例如人们故意以有趣的方式扭曲面部。研究人员在论文中指出了这种特殊的好处，并说道：“做出有趣的表情是社交互动的一部分。模块化编解码器化身模型由于具有更强的表现力，自然可以更好地完成此任务。”

他们通过从完全不同的姿势（即：{pose A}的左眼，{pose B}的右眼，和{pose C}的嘴）中随机抽洗脸部特征来制作“人造”滑稽面孔，对此进行了测试，然后看了看如果系统在输入意外不同的特征时可以产生现实的结果。

研究人员说：“（在上图中）可以看出，模块化编解码器化身会产生自然的灵活表达，即使从未在训练集中全面地看到过这种表达形式也是如此。”

除了制作有趣的面孔表情，研究人员还发现，模块化编解码器化身系统还可以消除戴头显固有的眼位差异，从而改善面部真实感。

“在实际的VR远程呈现中，我们观察到用户通常不会睁大眼睛。这可能是由于头显佩戴时产生的肌肉压力，并在眼睛附近显示了光源。 我们引入了眼睛放大控制旋钮来解决此问题。”

这样一来，系统可以巧妙地修饰眼睛，使其更接近用户不戴头显时的实际外观。

来源：roadtovr