编译/VR陀螺
近日,美国专利商标局公布了苹果公司一项与空间音频有关的专利申请。该专利深入研究了从AirPods到AirPods Max再到XR头显等设备中的传感器,以确定用户的环境并相应调整音频。苹果指出,虚拟房间与用户所处的真实房间的声学效果越相似,外化的感觉就越合理。
苹果公司在其专利申请中指出,内容创作者可以创建一个音频或视听作品。音频可以根据内容创作者的口味进行精准的微调,以便向听众提供特定的体验。内容创作者可以精心制作音频,使其带有特定场景的可感知线索,例如,户外山坡、体育场或一个小型封闭空间。在户外录制的音频作品可能有可感知的声学线索,以将听众带到户外环境中。同样地,如果一个音频作品是在室内录制的,听众可能会被虚拟地传送到室内。
用户可以在不同的位置聆听音频作品,每个位置可以有不同的声学环境。例如,用户可以在车里、草地上、教室里、火车上或客厅里听音频或视听作品。
人类可以通过分析两只耳朵的声音来估计一个声音的位置,这被称为双耳听觉,人类的听觉系统可以利用声音在我们身体周围的衍射和反射以及与我们耳廓的互动方式来估计声音的方向。
麦克风可以通过电声换能器将声压的变化转换为电信号来感知声音。电信号可以用模数转换器(ADC)进行数字化处理。音频可以用空间滤波器进行渲染播放,从而使音频被感知为具有空间特性。空间滤波器可以人为地在音频中加入空间线索,这些线索类似于我们身体几何结构和耳廓自然造成的衍射、延迟和反射。经过空间过滤的音频可以由空间音频再现系统产生并通过耳机输出。
带有耳机的空间音频再现系统可以跟踪用户的头部运动。双耳过滤器可以根据用户的头部位置进行选择,并随着头部位置的变化而不断地更新。这些过滤器被应用于音频,以保持声音来自空间中某个理想位置的错觉。这些空间双耳滤波器被称为头部相关脉冲响应(HRIRs)。
随着苹果公司尝试通过其XR头显提供真实的XR环境,该公司对其空间音频技术进行了微调。据苹果公司称,一个强大的虚拟声学模拟(如空间音频)大大受益于房间的虚拟化,以诱发声音的外化感,外化感可以理解为声音不是来自耳机,而是来自外部世界的感觉。决定虚拟房间的声学参数对于提供令人信服的空间音频体验非常重要。
一般来说,虚拟房间越类似于真实房间的声学,外化的感觉就越可信。然而,当使用空间音频重现预先录制的音频内容,如电影、播客、音乐或其他内容时,模拟真实房间会对体验不利,因为虚拟房间的声学效果可能会超过所录制内容的声学效果,或造成感知上的差异。
一个典型的例子是户外电影场景,用户可能期望听到没有或很少的混响,但由于虚拟化,用户可能听到来自虚拟房间的大量混响。在这种情况下,可以在再现的合理性(有助于外化和包络)和再现的保真度(保持内容创造者所期望的观看体验)之间进行权衡或妥协。
在某些方面,系统可以根据对真实房间的声学和被播放内容的声学的分析和/或先验知识,选择更佳的虚拟房间预设或混响算法的参数。
苹果公司的专利图1说明了音频或视听文件的音频处理;图2说明了选择音频处理的声学参数;图3说明了确定和应用预设声学参数的工作流程。
图源:patentlyapple
苹果公司的专利图6说明了用于确定预设声学参数的音频处理操作;最后,图7说明了带有声学参数的元数据。
图源:patentlyapple
音频处理系统可以是一个计算设备,例如,台式电脑、平板电脑、智能手机、笔记本电脑、智能扬声器、媒体播放器、家用电器、耳机组、头戴式显示器(HMD)、智能眼镜、汽车或其他车辆的信息娱乐系统,或其他计算设备。
想了解更多专利详情,请查阅苹果公司的专利申请US 20230104111。
投稿/爆料:tougao@youxituoluo.com
稿件/商务合作: 六六(微信 13138755620)
加入行业交流群:六六(微信 13138755620)
元宇宙数字产业服务平台
下载「陀螺科技」APP,获取前沿深度元宇宙讯息