FBEC2023未来商业生态链接大会暨第八届金陀螺奖于2023年12月8日在深圳福田大中华喜来登酒店6楼盛大召开，本次大会由广东省游戏产业协会、深圳市互联网文化市场协会指导，陀螺科技主办，中国光谷、游戏陀螺、VR陀螺、陀螺财经、陀螺电竞联合主办。

大会以“合力共生·韧者行远”为大会主题，以具有行业前瞻洞察的“航行者”为视角，破冰之旅为主线，关注AI、元宇宙、XR、游戏、电竞、数字经济等科技与互联网前沿领域，全方位呈现科技前沿成果，聚焦时代与商业热点议题，探讨新科技、新商业、新模式的未来价值，与真正的勇者共赴剧变革新下的凛冬破冰之旅！

主会场C：元生未来，共链价值——2023全球元宇宙产业核心技术论坛，邀请到耀宇视芯 CEO 杜逢博带来主题为“协处理器对于AR头显的必要性”的精彩演讲。杜逢博认为，从交互算法到数据传输再到显示渲染，协处理器将会显著改善VR/AR设备的延迟与功耗。

以下为演讲实录：

大家，下午好！今天主要想和大家探讨的是协处理器对于AR所带来的改进和提升。

目前XR领域头部两个大厂，苹果与微软都在其产品中使用了协处理器。其实，微软2016年推出的第一代HoloLens便使用了协处理器HPU，苹果今年发布的Vision Pro则自带了R1协处理器。两家厂商不约而同地都将XR设备区别于传统消费电子产品的功能承载在协处理器上，同时也都明确提出了延迟这一参数指标，其中微软HoloLens的MTP可以实现小于1毫秒的延迟，而Vision Pro的VST则做到了小于12毫秒的延迟。

在我们看来，延迟这一参数主要取决于3个因素，一是交互算法，其中头部空间定位主要取决于SLAM技术；二是数据传输；三是显示渲染。

首先在交互算法上，对于传统VR/AR一体机，尤其是AR的Expose（曝光时间）一般是3毫秒，之后图像便会向外输出，Readout时间约为6-7毫秒。而对于一体机来说，图像输出完会进入主芯片，在主芯片里面花费15毫秒左右的时间，利用CPU或者是DSP处理特征提取、匹配相关的算法。最后在10毫秒左右时间内，基于滑窗的非线性优化或者滤波器方式解算6Dof的空间定位结果。以上整个视觉处理的延迟基本会控制在35毫秒左右。

值得注意的是，如果采用分体积方式，处理延迟还会进一步增加至38-55毫秒左右，这取决于中间传输的传输方式。在如此明显的延迟之下，协处理器的加入将有效降低交互算法的延迟。

在协处理器辅助下，虽然曝光时间依然是3毫秒，但到了Readout阶段，由于操作都是在协处理器里面的，无需缓存所有的图像，因此只要十几行图像就可以进行特征提取和匹配计算，约等于整个Readout时间结束后，SLAM算法中的特征提取和匹配算法已经结束，特征提取和匹配操作隐藏在Readout时间内。之后再花费额外3毫秒时间处理基于滑窗的非线性优化模块解算6Dof空间定位后，便可以传输处理完成的空间定位结果。相比图像数据量大幅减少，完成传输仅需1-2毫秒。

在有协处理器的情况下，SLAM视觉链路延迟会降低至13-14毫秒，这带来最大的好处是IMU积分的时间大幅缩短，对于诸如加速度器这样需要二次积分的传感器来说，不仅能提升传输精度，还能有效降低抖动。

其次，显示渲染。在一个4帧图像的时间序列中，传统的方式在Vsync 0时刻获得最新定位结果并传输给GPU进行渲染，渲染完1帧以后，经常会用双缓冲的方式对屏幕进行刷新，在传统的双缓冲模式下，信息在Vsync 2时刻才能完成图像刷新，整个过程延迟非常大，如果不做任何处理的话，几乎无法获得很好的效果。

因此，在渲染阶段我们一般都会使用单缓冲方式，即在渲染完成后直接上屏处理，通过控制上屏时间避免画面撕裂。但即便如此，整个延迟还是处在接近30毫秒的程度。此时，我们一般还会通过PW或者是ATW进行补偿，在屏幕刷新之前再次获取最新的定位的结果，利用该结果对已经渲染完成的图像做一次延迟补偿，重新输出到屏幕。

该方式可以将延迟压缩至十几毫秒，却仍旧无法达到理想的效果。因此一般我们还会在最新的Get Pose基础下加入往前的位姿预测，基于IMU数据拟合往前积分，获得未来的定位结果。

此外，还可以选择根据历史的运动数据构建一个复杂的运动模型，用该模型预测未来十几毫秒之后可能存在的定位结果，对图像进行补偿。

但不可否认的是即使预测算法再好，预测总归是预测，总有预测不准的时候。此时，协处理器的优势就得到了体现，其可以大幅降低甚至完全消除预测时间，让整个渲染过程不需要进行任何的预测，而是直接将实时结果传输至屏幕。

基于以上对延迟的考量，耀宇视芯推出了第一代协处理器“启明”，并在典型场景下取得了不错的功耗表现。在视觉双目30fps，1000Hz IMU条件下，协处理器“启明”功耗维持在164mw左右；在双目100fps+1000Hz IMU条件下，功耗维持在193mw左右；在VR典型场景下，四目30fps条件下功耗维持在200mw以内。

总的来看，耀宇视芯第一代协处理器“启明”会给VR/AR设备在空间定位上带来大幅功耗及延迟的降低。欢迎各位到现场体验，谢谢大家！