编译/VR陀螺
目前VR一体机的追踪系统只能追踪用户的头部和手部位置,此外它还可以借助称之为反向运动学(IK)的算法来预测用户的肘部和躯干等位置信息。不过对于腿部动作预测目前还缺少行之有效的预测算法,所以很多VR软件的Avatar通常只能显示上半身,如果想要实现全身追踪,则需要进一步引入tracker等外部追踪器。
为了解决这一问题,去年9月,Meta AI研究人员公布了一个称之为QuestSim的经过强化学习训练的神经网络,它支持仅通过Quest 2头显及其手柄的追踪数据来预测一个合理的全身姿势。
不过QuestSim还存在不少问题,如它的时延为160毫秒,在72Hz运行时仅有11帧。此外,它只适合用来查看别人的分身,而不适合看自己的。此外,Meta的研究论文中并没有提及运行QuestSim所需的性能要求。
最近,Meta AI研究人员发布了一篇名为Avatars Grow Legs ( AGRoL )的新论文,里面展示了一个依靠算法实现全身追踪的方法,论文中指出他们实现了“最先进的性能”,并且对于硬件依赖要小于以往的算法。
AGRoL是一种扩散模型,它有点类似于最近的Stable Diffusion、DALL·E 2等AI图像生成系统。
图源:Meta
研究人员表示,AGRoL可在NVIDIA V100上实时运行,运行速度约为41FPS。虽然NVIDIA V100是一个价值15000美元的GPU,但这通常是机器学习算法开始运行时所必须的,或许经过未来几年的优化和改进,该算法将能适用于智能手机设备,此前的Google Assistant和Siri正是由此发展而来的。
不过当前并没有迹象表明AGRoL将何时用于Meta Quest系列产品中,Meta宣布其Avatar系统将于今年获得腿部支持,里面可能性更大的是用户将能看到别的Avatar的腿部动作,而非自己的。
来源:UploadVR
投稿/爆料:tougao@youxituoluo.com
稿件/商务合作: 六六(微信 13138755620)
加入行业交流群:六六(微信 13138755620)
元宇宙数字产业服务平台
下载「陀螺科技」APP,获取前沿深度元宇宙讯息