ARCore 是 Google 为开发者构建的增强现实平台,如何让虚拟物体和真实世界完美融合,这一直是 Google ARCore 技术所探讨的问题。众所周知,当虚拟物体附近有现实物体时,有可能会出现互相交融、重叠等效果,大大地影响了用户体验。这一直是 AR 技术的难点,也是 Google 不懈努力的方向。今天 ARCore 给出了这一难题的答案。
Depth API 正式发布
2019 年底,Google 曾发布过 ARCore Depth API(深度 API)的预览,为开发者们带来解决技术难题的希望,开发者将凭借 Google 动态深度算法和一颗 RGB 摄像头就可创建出深度图,我们挑选了部分合作伙伴进行早期测试,探索在不同领域上 Depth API 如何更好发挥作用,创造更自然真实的增强现实体验。
经过数月的探索与实践,现在我们宣布 Depth API 在 ARCore 1.18 正式发布,同步支持 Android 和 Unity 平台,全球数亿台支持 ARCore 的 Android 设备将支持 Depth API 。
△ Depth API 无需特定硬件支持就可生成深度图,解锁更多增强现实能力,比如“遮挡”
Depth API 到底厉害在哪里呢?这里我们要划一下重点:Depth API 的一项关键功能就是“遮挡”:虚拟物体能够准确地出现在现实物体后面,与场景真正融合在一起。此前没有遮挡功能,虚拟物体容易“横空出世”,更像是现实世界中的“贴图”,让人瞬间出戏。
△ 左边没有遮挡功能的“喵星人”在空间里穿越,缺乏真实感,右侧开启遮挡功能的“喵星人”则逼真地藏在了遮挡物后面。
而有了 Depth API,虚拟物体可以在现实世界找到自己的位置,和环境良好互动,让我们一起看一些优秀的使用案例。
“遮挡”掉不真实 让精彩上线
开发了 Five Nights at Freddy’s AR:Special Delivery (玩具熊的五夜后宫 AR)这款游戏的工作室 IIIumix 运用 Depth API 的遮挡功能,让虚拟的游戏角色隐藏在真实环境物体之后,从你的手机里的增强现实画面里突然跳出,现场感十足,刺激又好玩。
△ 玩具熊的五夜后宫 AR 游戏画面
除了遮挡这个核心功能,ARCore Depth API 为开发者解锁了更多玩法和互动形式来打造更逼真的 AR 体验。ARCore 深度实验室更是多方位的寻找灵感,例如逼真的的物理体验,物体表面的碰撞交互以及物体在环境内横越纵游等。开发者们如果感兴趣,可直接通过开源的 GitHub 项目来学习和构建。
△ ARCore 深度实验室
让开发者的创意“深”不可测
Snap 公司的设计师和工程师将 Depth 的多项特性巧妙地融合在一起,开发出了一套超乎想象的 Snapchat 滤镜,包括跳舞热狗(Dancing Hotdog )以及 Android 版独有的海底世界(Undersea World),快来感受一下吧。
△ 了解深度信息是如何提升 Snapchat 滤镜的真实体验感
Snapchat 的滤镜创作者只需在开发工具中下载 ARCore Depth API 模版,就能在 ARCore 支持设备上开发出基于深度,更沉浸更真实的体验。Snap 公司的研究工程经理 Sam Hare 难掩兴奋:“我们预计即将会有很多让开发者兴奋,让用户喜爱的各式深度应用场景诞生。这个简单的系统集成简化了开发过程,让滤镜工作室的开发人员可以更轻松地应用高级的深度功能”。
Google Creative Lab(谷歌创新实验室)打造的另一款实验性 Android 应用程序 Lines of Play ,也是将 Depth API 的遮挡功能与碰撞相结合的精彩案例:这款应用将多米诺骨牌的艺术灵感与 AR 融合,借助深度信息,倒塌的多米诺骨牌会与房间中的墙壁、家具产生自然而真实的互动,遮挡与碰撞进一步凸显出技术的魅力。
△ Lines of Play 中多米诺骨牌连续碰撞、倒下,最后倒在真实的墙壁上
为实用类工具带来“深”远影响
除了移动游戏与自我表达类应用之外,深度信息还在很多工具类应用上大放光彩。例如,提供远程技术解决方案的应用程序 TeamViewer Pilot 允许在视频会话中加入 AR 注释,这都多亏了 Depth API 帮助程序更好地理解周围环境,世界各地的专家足不出户,就可以准确使用实时 3D AR 注释为用户提供远程技术支持。
△ TeamViewer Pilot 应用中的 3D 注释功能让专家远程精准标记出重要细节
预计在 2020 年底,还会有更多独特的深度 AR 体验上线。例如,Reality Crisis 的一款新游戏 SKATRIX,它可以将你的家变成一个数字滑板公园,使用 ForwARdgames 的 SPLASHAAR,你可以用手机里的 AR 蜗牛和朋友在家比拼“速度与激情”。
△ SKATRIX 和 SPLASHAAR 使用 ARCore 实现物体表面的交互以及物体在环境内横越纵游
虽然深度传感器如 TOF 传感器并非 Depth API 的必需配置,但如果配备 ToF 将让用户体验的更上一层楼。三星相机技术项目经理 Soowan Kim 非常期待 Depth API 与 ToF 在未来的组合擦出创造力的火花:“Depth 会从多个层面丰富用户的 AR 体验。它将减少扫描时间,加快平面检测速度,即使是纹理不清晰的平面也能快速检测。这将有助于创造沉浸式的无缝体验,让用户更能频繁和容易地使用 AR 应用。”
在接下来的几个月中,三星将升级快速测量工具 Quick Measure ,这样 Quick Measure 就可以在三星 Galaxy Note10+ 和 Galaxy S20 Ultra 的设备上应用 ARCore Depth API 提供更好的体验了。
△ Quick Measure 实现更精准测量
看到这里,你是不是跃跃欲试啦?我们期待更多中国开发者使用 Depth API 的精彩创意。ARCore 1.18 在国内各大应用市场已正式上线,请下载安装包或访问 ARCore 官方网站深入了解。
投稿/爆料:tougao@youxituoluo.com
稿件/商务合作: 六六(微信 13138755620)
加入行业交流群:六六(微信 13138755620)
元宇宙数字产业服务平台
下载「陀螺科技」APP,获取前沿深度元宇宙讯息