2018未来商业生态链接大会暨第三届金陀螺奖颁奖盛典

新闻资讯|人物专访

专访HTC鲍永哲:Vive Pro变AR?两个前置摄像头的真正作用

发布时间:2018-04-25  |  标签:         

文/VR陀螺 朱瑾

随着技术的发展,VR、AR、MR的界限也越来越模糊。就在本月17号,HTC发布了一款Vive SRWorks SDK,让开发者可以利用Vive Pro的前置摄像头实现AR功能。而这款SDK一经推出就引起了人们的广泛注意,因为它的开放极大地拓宽了开发者的想象力,并为内容开发提供了无限可能性。

借着香港环球资源电子展的机会,陀螺君对HTC北亚区总经理鲍永哲进行了专访。而对于HTC此次推出的SDK,鲍永哲也表示:“5G时代已经来临,VR与AR的界限也很难再划分得很清楚。”

专访HTC鲍永哲:Vive Pro变AR?两个前置摄像头的真正作用

SRWorks SDK是什么?

据HTC Vive的官方解释,SR指的是“See through Reality”。这款SRWorks SDK是通过Vive Pro的两个前置摄像头,为开发者提供一个可以创建AR体验的工具。开发人员现在可以使用立体声前置摄像头创造新的体验,将透视立体相机视图与虚拟世界混合在一起,并利用立体声RGB传感器执行3D感知和深度感应。

专访HTC鲍永哲:Vive Pro变AR?两个前置摄像头的真正作用

开发者可以完全控制pro的前置相机以开发自己的混合现实体验。该SDK包括三个模块:深度模块、透视模块和三维重建模块。这是一套基础工具,通过前置摄像头,允许开发人员使用该数据创建有趣体验,而这些体验可以是纯粹的AR或VR体验,也可以是两者的组合。

HTC还表示,SRWorks SDK包含对Unity和Unreal插件的本地开发支持,并且可以实现以下功能:

  • 深度            
  • 空间映射(静态和动态网格)
  • 将虚拟对象放置在前景或背景中
  • 与虚拟对象进行实时以及简单的手势交互

在视频中,我们可以看到用户能够抓起虚拟道具丢到真实世界的场景中,且道具的物理反馈相当不错。除此之外,用户还可以拉出一个连接虚拟世界的传送门,可进行场景的无缝切换。除此之外,还能看到Vive Pro可以通过摄像头对场景进行识别,这展示了空间映射模块如何创建房间内几何图形的模型以供应用程序使用。

除了SDK外,团队还更新了OpenVR相机API。目前Vive SRWorks SDK可通过HTC的开发人员门户网站下载测试版。

采用新工具,Vive Pro的前置立体相机可以有效模拟AR眼镜将在未来实现的理想体验,即具有精确跟踪且身临其境的宽视场和环境映射。这将可能成为开发人员构建未来XR硬件所需的优秀开发工具包。

对于那些希望能够开发将现实与虚拟结合在一起的内容的开发者们来说,Vive Pro提供了新的选择。相比起注册Magic Leap SDK,并尝试从该公司获取难以获得的硬件,同时还要严守保密协议来说,选择Vive Pro来开发MR内容要容易得多。这可以帮助开发者们在一个更加开放的环境中快速实现他们的想法。

Project Ghost Studios是受邀利用这款SRWorks SDK进行内容开发的早期合作伙伴,他们通过这款SDK开发出了一款新游戏。

在这款演示视频中,我们可以看到用户头戴Vive Pro,透过摄像头看到真实世界的场景,并可以在真实场景用手柄击打虚拟小怪兽。同时,虚拟场景和现实场景还可以快速切换。

Project Ghost Studios的董事长Gaspar Ferreiro解释道:“我们在今年年初有幸受到了HTC的邀请,成为小部分特邀开发者之一来研发涉及Vive Pro双摄像头的新SDK。我们最终得以揭晓这项研究成果。我们希望这个视频能够向你展示Vive Pro可以实现的部分新功能,以及这为故事叙述与沉浸式内容提供的全新可能性。”


两个前置摄像头的真正作用

Vive Pro是HTC Vive推出的专门针对高端市场的VR头显,自公布以来就备受瞩目。但其前置摄像头在之前并未过多引起人们的注意。

我们最初的双镜头设计是为了更好的安全性,用户在使用时可以设置把摄像头打开,其实对于第一代vive,有一些用户反馈表示觉得摄像头不够真实或开的时间点不对。所以我们在设计产品的时候希望能够对新产品的安全性做得更好,”鲍永哲说道。“到中后期时,发现双镜头可以做see-through,还能提供深度信息,所以工程师内部产生一些比较开放的想法,觉得可以利用双镜头做更多事情。”

有了深度信息之后,设备就可以实现一些简单的slam、see-through、overlay的功能。所以HTC Vive选择对开发者开放新SDK,从而更好地利用双镜头。

鲍永哲透露,Vive团队有试着把自己的游戏和实际环境做结合,但由于内部的studio只有两三个团队,在创意上无法和疯狂的游戏开发者们相比,而团队认为这项功能应该可以开发出更多的用途,所以希望开放SDK让大家使用,并在未来做更多不同的尝试。

“看你们怎么用,我们也可以互相借鉴。以后未来的某一代镜头可能做得很好,就可以做成see-through的VR,”鲍永哲笑言。

他还补充道:“我在自己公司内部负责策略和产品。AR对消费端市场来说应用的方向是什么还没有看的很清楚。但通过这一样一步一步积累很多开发者的开发和创意,也可以帮助我去找到一些方向。”

对于Vive Pro这项新功能,目前HTC Vive也还处于尝试的阶段。“我们希望用双镜头做更多不同的事情,不管是一些物体辨识还是更多功能,我们都愿意跟所有的partner合作。”

众所周知,VR头显的Inside-out定位追踪正是通过摄像头来实现的,但目前HTC Vive并不考虑改变设备的追踪方式。鲍永哲表示,“有别的公司用自己的算法做我们也欢迎,但我们自己不做。至少自己没有往这个方向考虑。”

而对于这项新功能是否会对电脑运行产生压力的问题,鲍永哲称由于Vive Pro主要还是靠灯塔定位,因此深度信息的处理任务并不重。而背景贴合是由相机直接收录,且精度并不算高,因此对电脑CPU和GPU的压力并不会很大。

虽然这款SDK极大开拓了Vive Pro的可能性,但对于我们所期待的“VR当成AR用”的场景,Vive Pro暂时还无法实现。鲍永哲解释道:“AR的应用场景主要还是在室外,而不是固定的房间。但我们的产品还是要依靠电脑和lighthouse,变成AR设备的可能性不高,因为用途不对。”

但同时他也表示,随着技术的发展,未来有产品能够走出室外,那么实现这个场景也不是不可能。

关注微信公众号:VR陀螺(vrtuoluo),定时推送,VR/AR行业干货分享、爆料揭秘、互动精彩多。