文/VR陀螺 林德

如果把社交这个概念划分为现实社交和虚拟社交，其中虚拟社交包括游戏、社交平台、互联网等一切不“面对面”的社交方式，那么随着VR、AR设备的普及和“元宇宙”概念的大火，又要如何在虚拟世界和现实世界之间实现“无缝”的社交联系呢？

在今年的SIGGRAPH（ACM SIGGRAPH组织的计算机图形学顶级年度会议）大会上，Facebook Reality Labs（FRL：FB虚拟实验室）Research将通过VR头显展示一个获得共同社会临场感的新概念--“Reverse Passthrough VR”（反向直通VR）。

“Reverse Passthrough VR”是由科学家Nathan Matsuda领导的实验性VR研究演示。与Quest的Passthrough+和Passthrough API功能不同的是，“Reverse Passthrough VR””可以使外界的人们看到正戴着头显设备的人的眼镜，而前者是使用外部摄像头帮助使用者查看外部环境。

图源：Facebook Research

眼神交流在社交中是非常重要的信号，我们依靠眼神、面部表情传递着与人社交时的内心感受。但在戴上几乎半张脸的VR头显设备，尤其是它还遮挡了眼睛这一关键部分，就会导致虚拟环境中的人与现实环境中的人进行交流变得不自然。

Nathan Matsuda之所以发起这项反向实验的原因也是由于上述原因，处于虚拟环境中的他无法与外界的同事进行“无缝交流”。

有一次，Nathan Matsuda戴着头显，使用Passthrough功能（VR透视）时他很清楚地看见了周围的环境和同事，但是由于没有外部显示器，同事并不能看到他。当他与同事交流时，他的同事们都会告诉他，没法进行眼神交流的谈话很奇怪！

也就是说，Nathan Matsuda的同事无法和他一样获得相同的社会临场感。

对此，Nathan Matsuda开始思考如何使虚拟现实更加无缝地衔接社交场景，如果看到眼睛会有所帮助吗?

 遭遇质疑，“这真是个愚蠢的想法”

在2019年，开始进行这项实验时，就遭到FRL首席科学家Michael Abrash的质疑，Abrash不相信这项实验有什么实质的作用。

“我的第一反应是，这真是个愚蠢的想法，顶多算是一种新鲜玩意儿。但我不会告诉研究人员他们应该做什么，因为如果没有尝试新事物的自由就无法获得创新，这是一件好事。

显然，这现在是一个具有前景的独特想法。”

Nathan Matsuda佩戴早期的“反向直通VR”原型

（图源：Facebook Research）

初演示时，Nathan Matsuda将3D显示器装在了定制的Rifts头显正面，在屏幕上，就出现了Nathan Matsuda的面部图像。这个面部图像是由Rifts内的眼动追踪捕捉到的眼镜注视，接着由游戏进行画面的粗渲染所呈现的。

 构建研究原型 

FRL研究人员一开始使用Rift S进行实验，随着这个概念的发展，后续则采用了Half Dome 2作为实验原型，今年将在SIGGRAPH上展示的便是以Half Dome 2为研究原型的演示。

在这项研究中，FRL的研究人员采用了微透镜阵列光场显示器，这是一种很薄的、构造简单的、基于LCD（液晶显示器）技术的显示器，能使房间中的每一个人都可以看到他们所在位置的正确视角。

机械研究工程师Joel Hegland用一个基础架构展示了一个大约50mm厚的VR头显，作为最新“Reverse Passthrough VR”的演示基础。光学科学家Brian Wheelwright设计了一个微透镜阵列安装在前面。

不过微透镜阵列光场显示器还存在许多的局限性，包括视角不能太大和聚焦问题。研究人员认为，如果未来VR头显尺寸继续缩小，使用全息光学等方法效果会更好。

上：原型剖视图；下：基础架构

（图源：Facebook Research）

“Reverse Passthrough VR”（反向直通VR）的基本组件是一个面向外部的3D显示器，使用者也可以简单地通过在头显正面放置一个2D显示器，并在显示器上投影使用者的面部来实现这一效果。不过，研究人员视觉上的偏移会产生很不自然的效果，从而破坏眼神交流的感觉。

因此，随着研究的发展，FRL的研究人员认为3D显示是一个更好的方向，因为3D显示可以让用户的眼睛和脸部出现在正确的位置。

图源：Facebook Research

在对眼睛和面部成像部分，Nathan Matsuda和团队选择使用一对立体相机来生成面部的表面模型，然后将眼睛的视图投影到该表面上。虽然投影出的图像并不是很逼真，但研究团队认为这是为未来发展的短期解决方案。

对于下一代的成像方案，很可能是FRL的Codec Avatars研究项目你，这是一个可以进行深度学习的3D捕捉技术和AI系统，可以轻松、快速地创建虚拟化身。通过深度学习，Codec Avatars可以从VR头显内实时采集的数据中建立一个图像。研究人员认为，这些图像会比当前使用立体相机捕捉到的图像更加逼真。

图源：Facebook Research

 通往获得共同社会临场感之路

FRL研究人员认为，能提供完全沉浸感且带有显示器的VR和AR眼镜完全是不同的技术，从长远来看，它们最终可能服务于不同场景的不同客户。人们在某些不同的情况下，对这两种设备的选择也不同。

通过“Reverse Passthrough VR”（反向直通VR）这些创新的实验项目，再结合更新的技术，最终将创造出更高质量的VR头显，并且能将高质量的虚拟图像和真实图像混合在一起。

“这样一来，不管是对方在地球的另一边亦或是站在身旁，你都可以和世界上的任何人共在一起。我们FRL的目标就是实现这个想法。”

参考链接：https://research.fb.com/blog/2021/08/display-systems-research-reverse-passthrough-vr/