编译/VR陀螺

Meta Quest 3于2023年10月10日正式发布，在Meta Connect 2023大会上，Meta宣布了一系列Presence Platform功能的升级，这些功能将支持Meta下一代头显的输入、交互和动作捕捉。以上功能的升级将影响高保真级别的上半身跟踪，带来更自然、反应更灵敏的交互（如微手势），以及逼真的腿部动作等。

Meta一直在利用各种工具和功能帮助用户增强沉浸感，提供更加真实的体验，努力缩小头显的虚拟世界与物理世界的交互、输入和动作捕捉的多样性和准确性以及差距。使用Movement SDK、Interaction SDK、Voice SDK、Haptics Studio和Haptics SDK，开发者可以让用户更投入地参与虚拟体验。

 逼真的腿部动作：增强休闲游戏效果并完善社交虚拟形象 

多年来，在VR中生成精确的腿部动作一直是一个难以解决的问题。Meta提供的功能更新可无需任何额外硬件，并减小用户摩擦（包括引起用户焦虑和迷惑、减缓操作速度、分散注意力等）。仅利用上半身的信息来生成下半身可能要做的动作，与基于IK（反向动力学）的方法相比，用户能很快就能做出更自然的动作。

逼真且自然的腿部动作将对社交体验和健身应用产生直接影响，因为它能准确地表现站立、行走、跳跃等常见的腿部动作。它还能增强休闲游戏体验，让用户在移动、探索和互动时有身临其境的感觉。

展示Dodge Arcade应用（来源：Meta Connect）

Meta相信，这套方法可以成功地应用于Quest 3、Quest Pro甚至Quest 2上的各种社交和游戏体验，让用户在VR中体验更准确的腿部动作，增强临场感。

 Inside-Out Body Tracking：实现高保真的自然动作 

在Meta Quest 3中，通过由内向外身体追踪（Inside-Out Body Tracking，简称IOBT），并使用头显上的摄像头来追踪上半身动作。与Quest 2和Quest Pro上使用手和/或控制器，以及头显的运动来推断用户身体姿势的方法相比，这种方法产生的追踪系统要精确和自然得多。这意味着，用户第一次体验时就能分辨出复杂而细微的动画，包括肘部和手腕运动以及侧身运动的动画。

通过提高上半身追踪的准确性，IOBT可以产生立竿见影的效果，帮助用户在应用中更自然地跳跃、跳舞或走动。在视线范围之外，IOBT还能通过推断手臂和手的位置来增强手部追踪等现有功能。

Movement SDK为开发者提供了开箱即用的动作捕捉工具，Quest 3上的IOBT能够让用户的棒球挥杆动作看起来流畅，空手道劈叉动作看起来精确，甚至连挥手打招呼的感觉都更加自然亲切。

 手部跟踪：改进响应性，延迟时间缩短40%至75% 

今年8月，Meta推出了手部追踪v2.2版本（v56），这是一次重大升级，可将延迟时间缩短40%至75%，显著缩小了控制器与裸手交互之间的用户体验差距。

此外，Meta还推出了“Fast Motion Mode”。Meta表示这是高频追踪技术的进化版，旨在让快节奏游戏的响应速度更快。开发者可以使用Move Fast应用程序（为开发者演示Interaction SDK的演示应用，可在APP Lab获取）来查看FMM的运行情况（可作为开源版本提供），也可以参考Meta提供的Unity、Unreal和Native开发者文档，以便立即在你的应用程序中启用手部跟踪和FMM。

Meta手部追踪v2.2版本（来源：Meta Connect）

在Meta Quest 3上，开发者很快就可以使用“Wide Motion Mode”来跟踪手部，即使手部在头显视野之外，也只需轻按开关，该模式就能极大地改善社交展示和大范围的动态交互。

 微手势和Direct Touch：让交互更加直观自然，减少疲劳 

Interaction SDK可让开发者轻松为应用体验添加基于控制器和手部的交互，包括戳、抓等多种可供选择的交互方式。从2024年开始，Meta将开始添加对全新微手势（microgestures）的支持，如拇指滑动、手指点触等，这样就可以在移动或滚动UI面板等情况下，减少重复交互带来的疲劳，为用户创造更简单的体验。

微手势演示（图源：Meta Connect）

说到头显内的自然交互，Meta还将在v57中为Horizon Home环境中的所有互动添加对直接手势（Direct Touch）的支持。Meta相信，Direct Touch可以让应用程序中的2D交互变得更加有趣，Meta还在Interaction SDK中为开发者提供了“开箱即用”的所有Direct Touch原语。

Direct Touch演示（来源：Meta）

Interaction SDK库使开发者能够构建独特、引人入胜的游戏，同时让你的受众能够灵活地以不同方式与应用程序环境进行交互。Meta表示从v57版开始为Unity的Interaction SDK提供Building Block支持。Building Blocks 是为Presence Platform常见用例预先配置的预制件。

 Multimodal和Capsense Hands：可同时提供手部和控制器追踪功能 

为了支持Meta Quest 3及后续版本的沉浸感。Meta最近推出了带有SDK v56的多模态功能Multimodal，这是一项新的实验性功能，可同时提供手部和控制器追踪功能。这意味着开发者在开发游戏时，可以让用户使用一只手输入，另一只手使用控制器输入甚至可以让用户在两者之间立即转换。

结合Capsense驱动的手部可视化功能，开发者能获得符合Meta控制器模型的自然手部姿势。这样，开发者就可以将手部可视化整合到用户的控制器之上，或取代用户的控制器。

Multimodal和Capsense Hands功能演示（图源：Meta）

这两项功能都将在未来几个月内发布，开发者现在就可以访问Multimodal和Capsense Hands的开发者文档页面。

 Voice SDK输入：开发者可创建自定义文本转语音（TTS） 

输入不仅仅包括手部和控制器，将人们的语音作为与应用环境交互的输入方法，可以实现更身临其境的游戏体验，并为不同受众提供更无障碍的体验。

语音命令和听写等Voice SDK功能为用户提供了与角色和对象进行交互的简便方法，而文本转语音（TTS）可以为游戏中的角色提供语音，从而为用户带来生动的体验。

Meta将增加15种可用于游戏的TTS语音，使其语音库增加一倍，很快开发者就可以使用Voice Cloning功能为应用创建全新的自定义TTS语音，只需20分钟的语音录制。

如果开发者是First Access计划的成员，还可以联系Meta的对接人员了解更多。下面是开发人员使用Voice SDK制作的内容。如要启用语音驱动的游戏和交互，可访问Meta提供的开发者文档（Unity、Unreal）。

Voice SDK演示（来源：Meta）

 触觉技术：Touch Plus控制器支持振动和高级触觉反馈 

图源：Meta

Quest 3的Touch Plus控制器允许激活各种振动和高级触觉体验。在Meta Haptics Studio和Haptics SDK的帮助下，开发者可以设计、试用高品质的触觉效果，并将其集成到你的应用程序中，这些应用程序在所有Meta Quest设备上都支持向后兼容。

Meta Haptics Studio是一款独立的桌面应用程序，适用于PC和Mac，可以从现有音频中创建触觉效果，它包含一个内置的库和教程。另一方面，Haptics SDK可以让开发者将触觉和特效集成到应用程序中，它提供了一个类似于媒体的API，可以用控制音频的相同方式触发和控制触觉。可访问Meta Haptics Studio和Meta Haptics SDK（Unity、Unreal、Native）的开发者文档了解更多。

参考文章：https://developer.oculus.com/blog/movements-inputs-interactions-meta-connect-2023-quest-developers-presence-platform/