从视觉到听觉,带你走进虚拟世界——VR全景声效

伴随着近几年AR与VR市场的大爆发,许多与之关联的影音技术亦逐渐受到各方关注。伴随着VR技术的发展,其相关的模拟环境、感知、自然技能和传感设备等方面的技术亦随之得到极大的发展。如何增加VR使用者的沉浸感使得整个虚拟环境表现更加真实?VR全景声效能够帮助到广大的影音爱好者。

VR全景声是什么?为什么会出现这种技术?

在现实生活中,人一般会有五感:触觉、味觉、嗅觉、视觉和听觉。然而在VR使用者体验虚拟现实环境时,所能运用到的往往只有两种:视觉和听觉。伴随着现代显示技术的提升,声效技术如何才能紧跟其步伐共,同发展创造出最完美的VR技术呢?在VR的世界里,视觉和听觉的比例各50%,因为现代的显示技术已经提升到一个较高的层次了,VR生产与技术商想要继续提升VR的沉浸感就只能从听感方面入手,因此VR全景声就开始逐渐被广大技术厂商留意。

声音在很多媒介中都属于从属的地位,从电影到游戏等等的娱乐媒体,声音似乎都是以一种配合画面的形式出现到大众心目中。为了增强音效所处的地位,增加试听者的感受,由此VR全景声,3D音效,沉浸式音频等等的理念逐渐被影音业界提出并且被开发出来。

最简单的理解,当我们处在环境中,从不同的角度听同一个声源所得到的声音是不同的。在整个环境中,声源和其所在的位置、时间信息共同构成一个声场。记录了声场数据,也就知道了整个环境的声音状态,VR全景声正是解决如何还原视频场景声的问题。全景声场不仅可以模拟VR里面的音场,还原视频中场景的声音,增加沉浸感,更能引导观众的注意力。

伴随着VR技术的发展

2016年被称为VR的发展元年,从产业的生态角度看,VR产业已经将从技术到硬件内容全部变成可以使用的现实,而不仅仅是一个概念。由于VR系列的产品拥有巨大的潜在市场,各大商家纷纷投资涌入这片VR技术的浪潮。

2014年6月网络巨头谷歌率先推出Google Carboard——一款以纸盒制造的可折叠智能手机头戴式显示器,可以使用手机提供虚拟实境体验。

2014年7月,Facebook宣布以20亿美元的价格收购VR技术商Oculus,在外界看来无疑是一场为未来买单的措举。另一方面,国内企业也纷纷将视线聚焦到VR技术,阿里巴巴、百度、小米、腾讯等国内互联网巨头亦希望能够构建国内的VR产业。即便是没有VR技术的知名网络企业如华谊兄弟、迅雷科技、乐视、暴风科技等等亦通过资本投入涉足到VR产业中。对VR产业的投资无疑是直接对VR行业打了一剂强心针,伴随着VR技术的发展,VR全景声也在其中分到了发展投资的一杯羹。

其实全景声的概念早已经在影音界为大众所知,2012年杜比实验室研发了杜比全景声。它突破了传统意义上5.1、7.1声道的概念,能够结合影片内容,呈现出动态的声音效果。不同于以往一路音频信号控制影院中一侧音箱发出相同的声音,它可以使一侧的多个音箱逐个发出不同声响,更真实的营造出由远及近的音效;配合顶棚加设音箱,实现声场包围,展现更多声音细节,提升观众的观影感受。之后,杜比实验室和在线全景视频资源网站Littlstar宣布,Littlstar的VR观影应用将会在今年秋季开始支持杜比全景声,带来沉浸式声效体验。

今年5月Nvidia推出了VR Work开发包,能够基于物理声音技术,使用光线追踪对环境进行渲染,之后该技术也被运用于声音渲染中,旨在创建精确的物理声波反馈。之后,AMD也顺应潮流,开发了一个TrueAudio Next。

独特的声音制作过程

目前,VR全景声场的制作方式为两种,一是现场收声,二是后期制作。VR视频中加入配合全景视频制作声音是一个新的挑战,虽然可以借鉴传统音频制作的经验,但是全新的录制方式与完全不同的后期合成处理方式,带来了新的需求和新的技术难点。现场收声时,因为环境因素的影响,采集商可能收集不到完美的声音,而且干扰源不能自行控制,采集者亦不好控制那些声音需要增强那些声音要弱一些。

但若是后期制作,声音会很纯净,但是后期制作声音的工作量会非常大,而且成本高。全景声录制之后还需要后期加工,比如需要将音轨的相位和VR视频画面相位进行匹配,以使得具体的某个径向来源的声音和对应的画面在观看时,来自同一个源。在VR影视中,专业人员需要能够精准还原全景声场中所有声源的位置、方向、距离和运动轨迹,这需要大量音轨来支撑VR所需的声音细节。

高质素的音效离不开高素质的技术,时代拓灵,国内唯一一家能够将全景视频和全景声音打包制作的公司。推出了拓灵VR360声场录制机,和拓灵VR全景声引擎(Twirling VR Audio SDK)这两大核心产品。为了满足立体声被动式接收的不同,VR全景声将需要满足观众头部旋转和经常改变角度的需要,最大程度创造沉浸式的体验。利用独有的全景声场模拟算法,将环境声和虚拟声源精确的还原在三维空间里。

支持头部旋转和移动下的声场重建。特别适合对运算复杂度有较高要求的移动端应用。也是真正的跨平台引擎,可以灵活的用于Android/iOS/Windows/Mac OS以及unity等各个平台。产品的架构十分高效,理论上可以同时提供128轨的音频,并根据陀螺仪给出的头部旋转和位置等信息,随时加入音源,并“实时渲染” 。

刚获得数百万天使投资的森声科技,主要的研发产品为基于双耳录音(Binaural recording)技术的VR音频采集设备,以及基于人头传递函数(HRTF)的声场模拟软件,可应用于VR影视、游戏、新闻、娱乐和体育现场直播。首先用他们的采集设备录制声音,之后把音轨导入视频软件对位和编辑视频,成片输出后,在播放中调用森声的SDK,以便能正常播放出全景声。

之所以说简便,是因为森声的方案中,采集设备输出的是正常的音轨,唯一的区别就是数量比较多,成片也是H.264压缩格式的“.mp4”视频文件,整个流程不会打破原有的视频制作流程。

VR全景声带来的听觉革新

VR全景声为广大的VR和影音爱好者提供了一个扩展的虚拟现实,它超越了原有游戏设备在视觉上的局限,为使用者提供了360°无死角的听感体验。声音往往可以引导人的注意力,有了VR全景声效之后,用户的注意力会大大提高,增加用户的沉浸体感。

对于许多VR游戏玩家来说一个没有VR全景声的VR游戏是失败的,VR设备的画面往往可以将玩家带入游戏的世界并且沉浸其中。然而,失败的音效表现却将他们生生拉回到现实世界,因为所有的声音都是从同一个声源发出的,而且音效的表现非常僵硬。丝毫没有体现诸如物体由远到近飞过,走进建筑物时的附近的声音变化等等的细节音效。

使得一款制作精美,情节优良的游戏总是差这么一点“火候”。另外,声音往往是营造环境氛围的必要成分,但仅仅止步于营造氛围吗?能否在VR游戏中实现声控人物角色,让玩家更融合到游戏世界中,显然,使用语言数据库是个解决的方法。其实在VR里,VR声效所表现的最重要的是位置信息,VR全景声所表现的是声音在VR空间的运用与作用。

举个例子,倘若使用VR设备玩反恐精英,你带着游戏外设模拟的枪支,忽然附近传来军靴踩踏地面的脚步声。找一个藏身之所!这是引起玩家行动的第一反应。这样的游戏是不是会让你感觉到真正的身临其境,紧张刺激犹如一个真正持枪者?由VR技术带来的VR全景声,无论是声效的音质还是声距感都需要能够完美表现出来,用户在使用时能够轻易“听”到自身所处的位置。

VR全景声的真实感受

在VR游戏里就有一个主题先天就有VR声音指令的优势,即VR恐怖。每当夜幕降临的时候,气氛及诡异的声音渲染之下,鬼这个词就会在心底按捺不住的滋生。当人类对于未知的恐惧在VR环境中被无限放大时,你是否还会认为这只是一个游戏?VR全景声可以带给你在空荡荡的房子里却传出楼上有脚步踩踏木质地板的咯吱声的感受。

VR全景声效所带来的其实就是视觉+听觉的组合,区别于传统的3D环绕声效,全景声可以打造出不同层次的声音效果,体验者甚至可以在其中感觉到超越耳朵灵敏度的体验。笔者曾经体验过贞子纪念版本的VR电影,临场惊悚!在VR中竟然可以听到这种令人毛骨悚然的鬼声,不仅近在眼前,更“近在耳前”。