编译/VR陀螺

Meta Quest 3和Meta Quest 3S重新定义了用户与头显设备的互动方式，让更广泛的受众探索传统2D屏幕和娱乐平台无法重现的各种高质量混合现实和虚拟现实体验。

当然，VR体验仍然是Meta内容生态系统的核心部分，它促使无数用户继续使用头显设备，将自己带入并沉浸在充满惊奇和刺激的全新领域。然而，即使有了Building Blocks和Mixed Reality Utility Kit这样的工具，创建完全沉浸式体验并将物理世界和虚拟世界融合在一起仍然会带来独特的设计挑战。

因此，Meta在GDC 2025上请到了一些经验丰富的开发团队来分享策略和注意事项，为开发者的决策提供指导。

 如何进行混合现实设计 

来自Creature公司的创意总监Doug North Cook提供了如下一些建议，可以帮助开发者设计和开发混合现实体验，让用户满意并参与其中。

▊建立有意义的交互

·从每个对象层面开始并深入：采用分层方法有助于确保可交互对象针对其环境进行优化。首先创建高质量、可识别的对象，然后将其整合到更广泛的游戏体验中，再进行场景级优化。

·利用产品设计方法：无论应用属于哪种类型，确保用户能够直观地理解、移动并在体验中进行交互，都能提高满意度并减少挫败感。让交互变得舒适易用，可以帮助用户在整个体验过程中保持参与度。

·确保凝聚力和交互保真度：无缝衔接的用户体验可保持沉浸感和可信度。提高虚拟对象的交互保真度有助于用户在混合环境中产生身临其境的感觉，并消除不信任感。

▊让人感觉真实

·注重可理解性：明确告知用户可以进行哪些操作，以及如何与物体或面板进行交互，可以减少用户的挫败感，实现更无缝的交互，尤其是对于刚刚接触混合现实的用户而言。

·所有交互都需要声音、视觉和触觉反馈：提供各种形式的反馈可作为确认机制，以增强沉浸感，并让用户清楚地知道已经进行了交互。

·创建值得互动的对象：确保可交互的对象具有一定的目的，或者在体验中具有重要意义，从而减少困惑，推动体验进程。

 Creature公司开发的MR游戏《Starship Home》。

 关于利用新的Passthrough Camera API的创意 

所有开发人员都可以开始利用公开发布的穿透式摄像头应用程序接口（Passthrough Camera API），访问Quest 3和Quest 3S上的前置RGB摄像头。这将释放使用房间图像应用纹理、为人工智能模型提供输入以及计算亮度级别、环境颜色等真实世界数据的能力。

最令人兴奋的可能是，这些图像可用于驱动机器学习和计算机视觉管道。能够理解环境并实时做出反应，应该能实现有趣的游戏以及辅导和生活方式应用。

我们相信，这种能力可以应用于从娱乐到商业和工业应用的各种体验，但使用案例的创新时机仍然成熟。为了探索一些潜在的使用案例，我们邀请了几个团队来分享他们是如何使用穿透式摄像头API来帮助进行内容创建、玩家定制、对象生成和寻路的。

Resolution Games首席执行官Tommy Palm分享了将混合现实技术融入游戏的一些经验。Resolution Games正在利用穿透式摄像头API尝试捕捉和利用真实世界图像的概念，以提供引人注目的游戏玩法。Palm的团队提出了一些有趣的想法，比如捕捉朋友的脸并将其应用到布娃娃上，下面就是一个例子。

当然，这只是一个早期概念，但你可以想象，把房间里的任何东西——从猫的照片到你最喜欢的吉他的虚拟版本——带进游戏并与朋友分享，可以带来一种既新奇又真实的体验。

来自Niantic的Alicia Berry分享了API的几个用例，其中包括物体和空间识别。在第一个例子中，你可以看到API如何让虚拟角色识别一棵树，并通过生成式人工智能做出适当的后续反应。识别物体并据此改变游戏玩法的能力开辟了一个充满可能性的世界。

Berry还分享了一个利用API和视觉定位系统的示例，以帮助用户在人口稠密或GPS无法发挥作用的大型物理区域进行导航。下面，您可以看到该应用如何帮助引导用户到达指定区域。

这些只是如何在各种应用程序中使用这一新工具的几个示例，我们迫不及待地想看到您如何利用它来创建更复杂、更可感知的混合现实体验。

 热门VR游戏的设计和渲染 

我们有幸邀请到了热门VR游戏《Batman: Arkham Shadow》的幕后工作室Camouflaj的设计总监Ryan Darcey和渲染工程师Kevin Call，他们分享了有关VR设计和渲染的策略。

▊设计技巧

·不要重新发明轮子：无论是VR还是传统游戏机，在输入、交互和移动方面都有许多成熟的最佳实践。为确保无摩擦体验，除非您需要独特的解决方案，否则请考虑坚持使用常用机制。

·在“新颖”“更好”和“不变”之间取得平衡：如果你要从现有的IP中汲取养分，那就利用以前流行的功能，并研究如何利用最新的功能来增强它们——不要为了改变而改变。鉴于VR带来的机遇是传统平台所不具备的，因此要确定是否以及何时可以使用手部追踪等功能来提供新颖独特的体验。

·以更少的功能提供更高的质量：注重质量而非数量，可确保不会让用户不知所措，并能完善核心机制和功能。理想的情况是，在整个游戏体验中，用户的每一次交互都能始终保持高性能。

·易学难精：随着受众对技术和硬件的不断接受，可访问性在混合现实和VR游戏中扮演着重要角色。提供一种直观的体验，让玩家可以轻松上手，但随着游戏时间的延长，又会给玩家带来挑战，这是创造一款具有广泛吸引力的游戏的有效策略。

·在互动方面要大方：当用户与虚拟元素互动时，不追求精确度可以让VR体验感觉更流畅、更舒适。例如，如果用户需要在VR中打开一扇门，你可以在设计交互时只要求用户将把手转到一半，然后GAE就会自动完成交互。

·考虑将运动融入战斗：在VR中，可以利用动作推动用户在虚拟环境中前进，以防止动作序列感觉陈旧，并防止用户通过思考头显外的物理环境来破坏沉浸感。

·关注可见的身体部位：考虑用户最常看到角色身体的哪些部位。例如，如果体验采用第一人称视角，那么与角色的头部相比，专注于创建高保真度的手臂和手可能更为重要。

·考虑游戏功能如何与环境关联和互动：角色小工具或武器等功能可以提高用户对互动性的期望。例如，在《Batman: Arkham Shadow》中，玩家可能希望能够使用抓钩自由到达更高的地方。

▊渲染技巧

·利用烘焙照明减少限制：为了降低性能成本，Camouflaj在整个《Batman: Arkham Shadow》体验中使用了烘焙照明，并努力优化光照贴图，以获得更真实的外观和感觉。

·静态物体照明：要以较低的性能成本为静态物体实现更高质量的照明，可利用Unity的内置光贴图。其次，在应用光贴图照明时，通过使用主导方向评估镜面BRDF来实现直接镜面照明。最后，为了实现更逼真的光影对比，可通过指定最低阈值和衰减，从漫反射亮度中构建一个遮罩，并在着色器中将其与镜面反射相乘。

·动态物体照明：对于动态物体，Camouflaj利用Unity内置的光探针存储球面谐波。为了在为静态环境和动态角色的烘焙光之间取得平衡，团队部署了一个名为“自定义探针”的系统，允许他们使用MaterialPropertyBlock来覆盖角色的球面谐波。自定义探针组件可根据需要放置，以覆盖照明，从而使美工人员能够使用三点照明设置来添加灯光。Unity的SphericalHarmonicsL2 API用于累积来自三个光源的照明。

·实时照明：为了在必要时通过混合光照（烘焙光照和实时光照）实现更低的性能成本，Camouflaj使用了Subtractive技术。直接光照可添加到光照贴图中的静态物体上，而实时光照则添加到动态物体上。然后，可以将间接光照添加到光照贴图中的静态物体上，并通过光照探针添加到动态物体上。

·实时阴影：为了在静态环境中添加角色投射的阴影，团队通过渲染阴影贴图使用了“假阴影”，然后使用前向照明渲染不透明物体。接下来，他们为每个假阴影光渲染投影体积和采样深度，并利用它来重建世界位置和返回衰减值，然后与帧缓冲器混合。最后，渲染透明物体。

·反射：Camouflaj利用Unity内置的反射探针将环境捕捉存储在立方体地图中，从而为反射奠定了基础。为了克服复杂几何形状和光照条件下的场景障碍，他们采用了一种名为“立方体地图规范化”的技术，在反射探针捕捉点存储球面谐波。然后，在片段着色器中使用片段处的漫反射照明和反射探针采样处的漫反射照明与顶点法线的比率对反射进行缩放。为了增强探针的反射效果，他们使用了反射代理，即场景中特定物体的捕捉图像。在运行时，会对代理图像进行渲染，并通过已知的反射平面将其反射到屏幕空间缓冲区，供物体采样。

 与Popup Asylum一起制作桌面MR游戏 

来自Popup Asylum工作室的创意总监Martin Ashford和总监Mark Hogan带领与会者体验了《Battlenauts》这款热门桌面混合现实游戏的制作过程。通过从构思到测试的关键阶段，Hogan和Ashford分享了一些重要见解，揭示了如何推进和加速开发。

▊开始

在接触Meta的《Spirit Sling》展示之前，Popup Asylum团队已经基于经典桌面游戏《Battleship》创建了一个多人VR原型。玩过这款游戏后，他们意识到混合现实技术的潜力，它可以提升身临其境的桌面游戏体验，让玩家在游戏之夜感受到社交氛围，而无需费心协调人们的日程安排。

Meta提供了多个展示平台，为开发人员提供实现混合现实和社交功能的最佳实践。Popup Asylum可以利用《Spirit Sling》的桌面框架来处理游戏板和用户头像定位的逻辑。该框架还提供了光子融合（Photon Fusion）的封装程序，团队将其与目的地应用程序接口（Destination API）集成，以支持用户之间的多人游戏邀请。无论是结合混合现实应用程序接口、设置手部跟踪，还是介于两者之间的任何事情，浏览展示作品都能为您的下一个项目提供灵感和实现步骤。

▊减少VR和MR环境之间的差异

沉浸式的VR环境通常比人们在物理环境中可以安全浏览的空间大得多。Popup Asylum在调整其最初的VR原型以支持基于穿透的玩法时注意到，他们需要缩小游戏空间，以适应更逼真的桌面尺寸。

为了确保渲染的虚拟对象与用户的物理空间尺寸一致，该团队实施了一种解决方案，以淡出任何超出物理墙壁的渲染对象。这是通过使用混合现实实用工具包首先生成房间的3D网格来实现的。然后使用多重混合模式对网格进行渲染，使网格外的物体变暗。当与摄像头画面合成时，游戏中的暗色使物理世界显示出来，并将透明度应用到渲染对象上。

▊虚拟化身定位

Meta虚拟化身的使用为Popup Asylum提供了一个机会，让用户能够以更高质量的方式在《Battlenauts》中表现自己。然而，由于Meta虚拟化身现在支持渲染腿部，因此团队必须克服创建坐姿桌面体验与头像默认站立姿势之间的难题。作为解决方案，团队决定使用头像SDK的可连接系统将座椅固定在头像的臀部。这样既能获得熟悉的坐姿桌游体验，又能保持用户视线的一致性。

虽然GDC即将结束，但学习并未就此结束。很快，Meta将在YouTube上发布演讲视频，以便反复观看以发现大量见解，从而加速开发、打造非凡体验并使用Horizo​​n OS发展业务。

来源：Meta