缺失音频的 VR 世界 无法创造真正的沉浸感

本篇文章2382字，读完约6分钟

[编者按]虚拟现实热潮在2016年仍在继续，但与去年不同，在头戴式设备的投资热潮之后，投资方向呈现多元化趋势，重点分散到产业链的不同环节。今年3月，许多虚拟现实音频初创公司最近完成了融资。以前不太受重视的虚拟现实音频开始出现，并成为一种新的投资趋势。本文的作者，张瑞波，森盛科技的创始人和首席执行官，在氪36授权复制。

虚拟现实音频的价值是什么？vr视频制作公司和著名导演大卫·马莱特的一句话可能会帮助我们找到答案。他说，虚拟现实影视作品与传统影视作品的本质区别在于有选择地吸收大量信息。就大脑而言，听觉和视觉协同工作，而不是一开始就分开分析。只有通过声音来判断，我们才能在现实世界中做出反应。为了创造逼真的沉浸感，vr头戴式显示器制造商试图改善关键技术参数，如刷新率、头跟踪延迟、视角、分辨率等。，但这些参数中唯一缺少的是音频。

为什么音频对沉浸感如此重要？让我们把美国哲学家希拉里·普特南提出的“瓮中之脑”的概念应用到虚拟现实中。如果你想完全沉浸其中，你在虚拟现实世界中获得信息后的反应应该与在现实世界中获得信息后的反应一致。例如，当一个美丽的女人在你的左边拍手时，你在现实中的正常反应应该是向左转，然后得到拍板是一个美丽的女人的信息，也就是听到拍手声(判断行为的基础)-转身(行动)-看到美丽的女人(获得信息)。可以看出，声音在这里扮演的角色是行为的最初基础。这就是全景音频对虚拟现实体验的价值，也是引导用户获取信息的“线索”。

虚拟现实的一个重要问题是信息的选择性获取。在传统的显示模式下，所有的信息都在用户面前，没有选择。但虚拟现实不同，它提供了全景观看模式，有更多的图片可供选择，但它迷失了方向，不知道该按什么顺序观看。因此，你会看到大多数人戴上头盔后会上下左右看，然后他们不知道该往哪里看。这种体验只能带来丰富的感知，却不能带来沉浸感。对于虚拟现实音频，它是完全不同的。我们使用声音信息来引导用户观看顺序和逻辑，尤其是虚拟现实电影。董事需要引导关注点转向不同的信息点。然而，在缺乏指导的情况下，大量无序的并发信息最终会使用户困惑，并造成感知上的混乱。

事实上，国内外主要的虚拟现实制造商早就知道这个问题。Oculus rift集成了数字hrtf算法，可以实时计算游戏世界中声源的位置和距离信息。在影视制作方面，core sound、诺基亚和3dio也推出了解决vr音频的技术方案。著名的森海塞尔也在2015年的消费电子展上宣布进入虚拟音频行业。

目前主流的vr音频采集方案主要涉及声场恢复技术和hrtf头部传递函数:

声场恢复技术

这是十多年前的一项成熟技术。最著名的应用是声场数字环绕声麦克风系统，它从四个方向分离麦克风收集的信息，模拟5.1；7.1；10.1或更多频道，然后通过家庭影院或剧院的音响系统播放和恢复它们。

头部传递函数

人们听到的声音实际上不同于空.实际发出的声音在声音到达鼓膜之前，它会受到人的头部和头部上的各种结构和材料的干扰，并且一些干扰可以被大脑检测到并成为判断空之间的基础，这就是为什么人们可以区分声音的方向和距离。Hrtf可以理解为这些干扰的统称，从实现的角度可以分为数字hrtf和自然hrtf。Oculus rift和许多游戏使用数字hrtf，而自然hrtf基于双耳录音。然而，由于实现不像数字hrtf那样免费，它主要用于电影、电视和音乐制作。目前，由于各种限制，数字hrtf不能达到自然hrtf的真实效果。

目前，市场上能够解决vr音频的技术方案各有优势，主要包括以下实现方法:

首先，四路采集-声场恢复-数字hrtf模拟-全景回放，包括sound field数字环绕声麦克风系统、核心声音四重奏等。这种解决方案的最大优点是体积小、便于携带，但缺点是方向信息是通过模拟产生的，这与实际声场大不相同。声源的方向可以通过后数字hrtf处理来恢复。

第二，立体声8方向采集-声场恢复-数字hrtf模拟-全景回放。目前，只有诺基亚和ozo使用这种技术方法，主要采用数字hrtf方案。诺基亚使用八个按等边多边形排列的声音传感器来采集数据，然后通过声场从各个方向恢复360度的声音信息，再通过数字hrtf操作处理人们可以感受到的vr音频。缺点是所有的声场操作和hrtf操作都是在终端设备中完成的，这对于使用移动电话作为终端的vr设备来说是非常紧张和昂贵的，大约需要60，000美元。

第三，自然hrtf采集-声场优化-全景回放，包括3dio、omnia(oculusvr音频技术合作伙伴)等vr音频采集设备。这种解决方案是从双耳录音技术发展而来的，它使用自然hrtf而不是数字hrtf。它的声音保真度很高，用户可以清楚地识别位置和距离。对于虚拟现实拍摄团队或有高要求的企业，它具有高性价比。目前，oculus vr和Samsung gear vr的演示视频都是通过该方案制作的。该方案的技术难点在于如何保持自然hrtf采集的模拟程度。3dio采用简化的双耳方法，这样会损失大量的人脸和轮廓干扰。omnia保留了轮廓和面部特征，但是因为所有的特征都集中在一个水平面上，所以各个方向的特征会相互干扰并影响效果。

据digi-capital称，2016年vr音频市场预计将超过7000万美元，到2020年将达到5亿美元。对于公众来说，虚拟现实领域有太多不熟悉的概念需要理解，与虚拟现实视频相比，音频的关注度相对较好。然而，我们发现许多初创企业最近完成了融资，进入了发展的快车道，这也显示了资本市场投资的新方向。随着人们对虚拟现实音频重要性认识的逐渐成熟，这一领域的前景是光明的。

这篇文章由读者提交，并不代表36英寸的立场。如有转载，请注明出处

“读完这篇文章还不够吗？如果你也开始创业，希望你的项目被报道，请点击这里告诉我们！”