发布时间：2020-12-27 15:43 | 标签：
苹果 Apple Glass LiDAR
微信扫一扫：分享
微信里点“发现”，扫一下
二维码便可将本文分享至朋友圈
【文/VR陀螺 小钻风】苹果的AR眼镜迟迟未有定音，苹果的AR生态却正以另一角度悄悄融入大众视野。继今年3月搭载LiDAR（激光雷达扫描）的iPad Pro问世后，苹果宣布新品iPhone12 Pro/Pro Max搭载LiDAR。
虽然一直以来AR眼镜被视为AR未来的终极形态，苹果的Apple Glass呼声也很高，但苹果的AR生态起步则是基于已有的移动端硬件生态，从软件与软件开发工具ARkit开始。
从移动端入手，苹果的AR生态并非一味等待AR眼镜的到来
2017年6月，苹果在WWDC上推出移动端AR开发工具集合ARkit，同年8月谷歌推出ARCore对标ARkit。
这两者发布的意义在于帮助AR应用开发者大大降低了AR应用的开发难度，让AR应用的创建变得更为简单，从而让开发者可以专注应用本身的功能与玩法，而且对开发者免费、没有硬件要求，因此当时掀起一阵AR开发热潮。
ARCore是随ARkit的脚步推出的，因此被认为是ARkit的模仿者。实际上，谷歌早在2014便推出AR软件系统Tango，比苹果整整早了3年，据称ARcore便是基于Tango做出的整合升级，所以有网友戏称谷歌起了个大早赶了个晚集。
然而作为先行者的谷歌与苹果的思路并不相同，它想要的是AR软、硬件并行。
因此早期谷歌还尝试将Tango系统集成至手机硬件上不断下功夫，率先推出了首款搭载Tango技术的AR智能手机PHAB2 Pro。
其结果是，谷歌的AR智能手机最终没能夺得市场青睐，最终销声匿迹，软硬件并行的策略夭折不说，反倒让ARkit成为最大的AR平台。
苹果生态恰好与安卓生态截然相反，全封闭式生态使得苹果对硬件、软件拥有完全的自主权，这让很多无解的底层问题变得没有那么复杂。在发展初期培养C端AR市场对任何厂商来说都是难以跨越的障碍，苹果也不例外。所以，苹果在硬件实力强横的情况下依旧选择了算法先行，在兼顾现有苹果硬件生态的前提下通过收购叠加自身优势推出ARkit。
而在ARkit推出之后，谷歌同样选择了发布ARCore，从某种程度上来讲，可以理解为是对苹果策略的认同。
从两者AR的实现方式上看，相比于Tango，ARCore无疑更接近ARkit，两者都是通过软件的方式实现，而Tango主要通过特殊硬件模组实现，需要专门的视觉计算芯片、摄像头、深度摄像头和传感器。
相较于需要诸多硬件加持的Tango，很明显，无硬件要求的ARkit的门槛要低很多。
就目前来看，ARkit是最大的AR平台，据称，苹果商店AR应用软件已超10000款。数量如此庞大，但为何除去当年风靡一时的《Pokeman Go》外，很多人对AR应用依然相对陌生？
苹果在移动端AR生态的布局仍处在初期阶段。从内容层面来看仅使用ARkit制作的AR应用所能实现的AR效果主要基于算法，而不是硬件层面做出的真实探测，因此所能实现的效果始终受限。
苹果移动端想要提供更好的AR体验，就需要更好的传感器来作为“眼观六路，耳听八方”的硬性支撑。
ARkit+LiDAR，苹果移动端的AR生态开始进入下个阶段
早在2017年苹果发布ARkit时，AWE联合创始人同时也是Flyby（Flyby被苹果收购用作ARkit的基础研发）联合创始人Ori就曾表示希望iPhone X能自带可以广泛普及AR的关键性硬件：后置深度摄像头，而不是ARkit。
他期望中的深度摄像头能让数千万台相机感知周围环境形状，能让用户创建丰富、精确的3D地图并能够与其他用户在AR Cloud上进行分享。
此次iPhone 12 Pro搭载的雷达扫描仪LiDAR正好契合了Ori所期待的后置深度摄像头，即一个能进行主动交互、主动探测感知环境的硬件。
苹果在移动端的努力实际上已经过了几年的沉淀，除了A系列芯片升级至A14外，苹果iPhone X也开始启用Face ID，并首次使用OLED全面屏，其屏幕设计尽可能朝“无边无界”靠近。
2018年，iPhone11开始使用超宽频（UWB）技术。UWB技术被称为MR未来的关键，能以大带宽快速传输数据，能实现短距离精确定位。此前新一代宝马将采用UWB3.0技术的新闻让UWB被很多人知晓。
再到今年10月，苹果搭载LiDAR并同时宣布支持5G，而5G对AR意义非凡。
AR设备需集成高性能计算设备，因此即使苹果手机在已拥有高性能、低功耗，适用于AR/VR设备的A13 Bionic 芯片的情况下，算力问题依然是困扰iPhone呈现最佳AR效果的一块绊脚石。而手机搭载A14芯片并支持5G后，可通过高带宽、低延迟的网络将运算放到云端，实现轻量化。
一面是5G加速商用化落地的大背景，另一面是已经做足了算法准备的ARKit，这两项技术的铺垫似乎自然而然引出了LiDAR到来的合适时间。
有了LiDAR的加持，苹果手机除了拍摄效果的提升外，结合Pro级摄像头、运动传感器、iOS内的架构，其AR应用的表达效果无论是在视觉呈现上，还是与现实世界的交互上都会有大幅度提升。苹果移动端的AR体验也将进入下一个阶段。
厂商中为何只有苹果选择了LiDAR传感器？苹果如何将LiDAR集成至成像系统？
对于普通消费者来说，似乎LiDAR更像是增强相机功能的一个辅助黑科技，但其实它是为AR而生。LiDAR作为探测器已存在多年，它与现在手机摄像头多采用的ToF以及传统雷达相似，都是基于雷达反射原理进行三维空间内的感知和测量。
这三者的区别在于所发射的光束不同，LiDAR发射是红外激光，ToF发射的是红外线，而传统雷达发射的是电磁波，三种光束中LiDAR波长最短，在短距离范围（苹果对LiDAR的短距离范围定义为5米）内所能实现的测量精度最高。
因此，LiDAR在雨雪天气或是夜间摄像头无法发挥作用时实用性很强，这项技术受到了自动驾驶、夜间城市拍摄系统的广泛应用，这也是LiDAR为苹果摄像效果带来的好处之一。
但如果只是单纯想要提高拍摄效果，LiDAR对苹果而言不一定就是最好选择。
iPhone 12 Pro出来后，很多网友拿华为P40 Pro与之进行对比。配备广角、超宽、3倍远摄、10倍远摄以及ToF 五个后部传感器的华为P40 Pro拍摄效果毫不逊色。
从这里也可以看出，苹果选择为iPhone搭载LiDAR并不只是摄像要求这么简单。
而且LiDAR装置价格相对昂贵，体型也并非像今天苹果所搭载的那样如此小型，可被直接集成到成像系统。苹果想要在iPhone上实现搭载，需要将价格降到很低并且将尺寸缩得很小。
因此在ToF能基本满足目前智能手机所需的探测精度、距离等各方面需求时，即便LiDAR会带来更优质的体验，除苹果外的手机厂商依然不约而同采用了ToF传感器。
苹果其实在对LiDAR的应用与掌握上比一般厂商有优势，因为其一直在研发的自动驾驶汽车所使用的主要传感器便是LiDAR。
即便如此，苹果同样要解决LiDAR高成本与难以小型化的问题。
早期的LiDAR体型很大而且并非民用，其应用领域多为航天、遥感等大型设备与装置。随着固体光源的发展，其体型才有了逐步减小并被运用到直升机等装置的机会。借助激光雷达高分辨率的探测，飞行员可在显示屏上直接看到场景、物体的形状。
苹果为了实现在iPhone上搭载LiDAR，据了解，采用了VCSEL激光+SPAD探测器的技术组合，在使用半导体制造技术制造激光器时选择了由Lumentum制造的一系列垂直腔表面发射器（VCSEL）而非边缘发射激光器来发射光束，并采用一组单光子雪崩二极管（SPAD）传感器来检测返回的光束。
VCSEL与SPAD都可利用常规半导体技术制造，并且均可被大量封装在一个芯片上，两者的组合大大简化了传统激光雷达的设计。
而且半导体随着行业经济体量的扩大价格越来越便宜，基于VCSEL的传感器也越来越普遍，价格逐步走低。这也是苹果能实现在iPhone上搭载LiDAR的重要原因。
此外，苹果搭载的LiDAR相较于专业激光雷达公司制造，探测范围可达200多米的高端传感器，其性能还差得很远，因此在技术上的难度已大大降低。
正是这一系列条件的满足，让苹果成功实现了在移动端搭载LiDAR。
AR眼镜被视为AR的终级载体，任何有关苹果AR眼镜Apple Glass的消息都极易激发大家的兴趣。
一款未被验明真身的产品能有如此大的吸引力，也只有苹果能做到了。
如果苹果的AR眼镜是苹果AR生态的最终走向，那么苹果现有移动端的AR生态对AR眼镜肯定有很强的基础意义。陀螺君大胆猜测，如果苹果的AR生态推行顺利，其未来的AR眼镜内容很多将来自苹果移动端的适配。
而苹果在一项遭曝光的专利“具有低光操作的头戴式显示器”中表示，搭载LiDAR的头显设备能在黑暗环境中充当佩戴者的第三只眼睛，因此大家普遍推测苹果的AR眼镜有可能会搭载LiDAR。
我们不妨借苹果现有几款相对典型的AR应用一窥苹果AR眼镜未来可能的功能。
1、3D扫描建模应用-《3d Scanner App™》
《3d Scanner App™》被称为苹果未来布局AR的重要软件，其适用于iPad Pro 2020、iPhone12 Pro、iPhone12 Pro Max。该应用借助LiDAR，可针对无论是小型对象还是大型场景快速创建3D模型。
3D建模原本属专业级操作，但随着AR应用逐步精简化，开始向建模爱好者甚至是普通用户过渡，比如正在介绍的《3d Scanner App™》。
该应用操作简单，打开应用点击扫描按钮便可对场景进行快速建模，初步扫描后可通过“Colorize（着色）”功能为无实景颜色的模型添加贴图，将模型还原成所扫描的场景。
模型呈现效果分辨率虽然不够高，呈油画质感。但与价格昂贵的3D扫描机器相比，仅使用移动设备能够快速建模并还原场景雏形，效果已非常不错。
陀螺君使用《3d Scanner App™》分别对人和物做了实测，操作起来确实方便，而且扫描过程流畅，中间无卡顿。但是，扫描完成后，如果扫描对象复杂度稍微偏高，尤其是选择高精度测量时，其等待时间容易让人怀疑人生。
仔细扫描与粗糙扫描之后得出的效果差别较大，扫描对象的复杂程度对扫描结果也会产生直接影响，粗糙扫描得出来的模型画质感人。
扫描外观整齐度高、复杂程度低、不透光的对象，比如墙壁、地板......或者垃圾桶，虽然依然是油画画质，但测量精度与还原度都不错。可以看到下图中的垃圾桶尺寸精度与色彩还原度都非常高。
与之形成鲜明对比的是陀螺君对盆景、座机进行的扫描，座机的细节基本扫描不出来，模型完全是火灾过后的画风。
而盆景由于实物细节更加丰富，交叠的树叶基本处于处处透光的状态，在陀螺君未进行非常精细扫描的前提下，扫描出来的效果与抱枕、垃圾桶相比差别较大。
《3d Scanner App™》扫描人的效果比想象中好，虽然扫描不够精细，人物模型也俨然一副没有灵魂的奇怪样子，但头发的发色过渡、衣服的纹理、材质等细节还原度非常高。从大小比例上来看，也能与真实人物保持一致。
通过视频，我们还可以看到将真实人物与3D模型放在同一个空间时，两者之间有明显的遮挡关系，当人物走到模型前面时，虽然会有穿模现象，但模型明显被遮挡。这样的交互便是归功于LiDAR带来的深度信息理解。
陀螺君还试过扫描光泽度较好的小型金属物品，金属质地反光较为严重，扫描出的模型能看出是金属但细节严重缺失。
整体来看，《3d Scanner App™》在LiDAR的加持下确实实现了速度更快、精度更高的扫描与建模，虽然建模效果在分辨率与细节上与专业建模有一定差距。
但未来精度提高后，如果能达到理想状态，用户配戴AR眼镜有可能实现将任何现实场景建模，并制作出属于自己的小型孪生世界，如果再结合成熟的3D打印，未来有可能实现一定程度上的“万物克隆”。
《3d Scanner App™》比照片与视频的还原度更高，完全是一种新的记录方式。而且《3d Scanner App™》与3D建模网站SketchFab建立直接联系，且针对文件格式、分享、查看方式等细节做了处理。
因此对用户而言，从扫描建模到编辑渲染再到分享，线路完整，未来完全有可能成为建模爱好者或者普通用户的社区集中地。
陀螺君觉得未来可能出现类似Facebook、Twitter、朋友圈具备分享功能的3D建模爆款应用，用户遇到想建模的任何对象，用AR眼镜即可扫描建模上传并与朋友分享。
2、AR游戏《Angry Birds AR: Isle of Pigs》
AR游戏是AR应用的重要方向之一，《Angry Birds AR: Isle of Pigs》是2019年基于原Angry Birds IP开发的AR版，该版本使用ARKit开发，增加了增强现实元素。
AR版在游戏开始前启用摄像头对现实环境进行扫描，以实现环境与游戏的融合。
玩家在现实环境选定的范围内搭建3D游戏建筑，在进行弹射时，可通过在现实世界中移动身体位置来寻找最佳射击角度。人体在进行移动时，菜单也会随着玩家移动以保证方向正对着玩家。
陀螺君试玩后发现，与未搭载LiDAR的版本相比，新版本的《Angry Birds AR: Isle of Pigs》游戏场景对于具备深度信息的真实场景做出的反应并不相同。
从光影效果角度，视频中我们可以看到，与之前版本无形状的模糊阴影相比，搭载LiDAR后的版本，游戏画面中无论是建筑、弹弓还是植物，其阴影轮廓与边界都很清晰。浮在空中的气球从手机端看，几乎完全与真实背景融为一体，看不出是虚拟物体，非常真实。
将画面放大，画质依然非常清晰，无论是建筑还是动植物，其细节呈现效果上佳。搭建的虚拟建筑与地面的稳合度非常高，很真实，几乎完全没有浮在表面的现象，而且稳定性好，即使陀螺君摇晃手机也没有出现肉眼可见的漂移或是其他不稳定的情况。
从这些变化中，我们可以看到ARkit在与LiDAR结合后，AR游戏的交互拟真度进一步提升，其原因就在于LiDAR所具备的深度空间扫描和感知能力。
随着苹果手机性能的继续迭代，将拥有比A14芯片更加强大的AI算力，未来的AR游戏可能会识别出真实的物体，比如桌面上放的是杯子还是手机，从而触发一些虚拟与真实物体的交互。
强交互往往意味着设备中要集成大量的传感器，以现阶段的VR头显为例，想要实现6DOF的交互，就一定要集成深度摄像头，想要轻薄，就只能用超短焦的方案，设备也就只能主打观影。
所有厂商都在性能、易用性和可落地性方面寻求着一种平衡。而对于苹果来说，打头阵的A系列芯片可以在AI算法层面为手机提供很多的AR功能呈现，这就体现在ARKit上，它不占用硬件体积、对消费者而言甚至没有成本。
而后来LiDAR的使用，是为进一步增强ARKit的性能而出现的——苹果的思路是用轻量级的软件、算法装备硬件，从而让苹果设备实现了在严格把控成本、设备迭代跨度的情况下一步步赋予苹果设备越来越强的AR性能。
无疑，未来苹果的AR生态会一直走算法服务硬件的路子，这也助力苹果打造出比同行业轻薄许多的AR硬件产品来。因此苹果制造出极度接近眼镜形态，与目前行业内臃肿的AR眼镜形态相区别的产品是有可能实现的。
目前来看，不仅仅是ARkit,苹果还推出了RealityKit、Reality Composer、Xcode、AR Quick Look等工具，让其移动端的AR生态布局在软件、算法层面的完善度不断增加。
对苹果而言，现在最缺乏的是好的软件内容用以吸引用户适应AR的存在，而苹果搭载LiDAR的意义正在于此。
陀螺君认为，苹果AR生态未来能实现的理想状态是将手机移动端用户迁移至AR眼镜。当AR眼镜推出时，其将拥有替代并且超越手机的基础功能，而手机移动端也已培养出成熟的AR软件开发者、融入用户生活的杀手级应用，以及对AR高接受度的用户。
以苹果移动端庞大的用户基数、所积累的软件基础，以及与安卓截然不同、高度统一的封闭式生态，如果苹果能够成功，那么苹果AR眼镜的推出必将会带来新的浪潮。
投稿/爆料：tougao@youxituoluo.com
稿件/商务合作： 六六（微信 13138755620）
加入行业交流群：六六（微信 13138755620）
