你是否知道，沒有VR音頻就沒有沉浸感？通信
在電影行業(yè)有一句話，“沒聲音再好的戲也出不來”，這句話強(qiáng)調(diào)了聲音對電影的重要性。
在電影行業(yè)有一句話，“沒聲音再好的戲也出不來”，這句話強(qiáng)調(diào)了聲音對電影的重要性。
這個道理同樣適用于VR影視。谷歌Cardboard的高管Nathan Martz曾表示，VR音頻不容忽略。他說，許多人認(rèn)為在開發(fā)VR產(chǎn)品和體驗(yàn)過程中，視頻和視覺是最重要的因素，其實(shí)不然，聲音也同樣重要。在資深游戲開發(fā)者群體中，有一個行業(yè)經(jīng)驗(yàn)——“聲音讓場景更加真實(shí)”。
但VR音頻到底是什么鬼？森聲數(shù)字科技創(chuàng)始人&CEO張瑞博為我們帶來他的看法。
VR音頻的概念
Q：一提到VR音頻，有人會說3D音效（往往是游戲），有人會說杜比全景聲，甚至還有說人頭錄音。到底VR音頻是什么？
A：首先，VR音頻并不是一個技術(shù)名稱。它是對所有能解決VR技術(shù)中音頻方位模擬的技術(shù)解決方案的統(tǒng)稱。
其次，游戲中使用的3D音頻也可以包括在VR音頻的范疇。上面列舉的例子都是在解決特定場景下的特定問題。比如說雷蛇的游戲3D音效和Oculus Audio SDK是解決游戲中虛擬音源的技術(shù)。但是，現(xiàn)場采集怎么辦？音樂會怎么辦？直播怎么辦？而杜比Atmos（杜比全景聲）的核心是基于object音源的影院揚(yáng)聲器矩陣的還原技術(shù)，更多是針對杜比推出的下一代影院效果。這并非真實(shí)聲場模擬，更多是追求來自于周圍和上方震撼的音效。但是，不是影院怎么辦？現(xiàn)場采集怎么辦？頭盔終端回放怎么辦？
在音頻技術(shù)上，人們會因?yàn)閷?shí)現(xiàn)方式流程以及對應(yīng)用戶場景不同，所采用的技術(shù)也完全不同。這并不是提問所理解的一個技術(shù)通吃所有情況，而是不同情況都需要對應(yīng)技術(shù)方案。
VR音頻實(shí)際效果
Q：VR音頻具體效果以及甄別真?zhèn)蔚姆绞剑?/p>
A：首先我不知道什么叫作偽VR音頻。因?yàn)閂R音頻本來就隨著VR的發(fā)展而開始的一個技術(shù)板塊。就像是高清標(biāo)準(zhǔn)剛剛開始的時候你能說720p是偽高清1080p是真高清么。只是執(zhí)行程度徹底與否的區(qū)別而已。如果說VR音頻效果的話，主要有幾個特征點(diǎn)：
1.能夠和頭顯視覺畫面對應(yīng)，并表現(xiàn)出對應(yīng)視角下的聲源方位與聲源距離；
2.同時體現(xiàn)出對應(yīng)空間環(huán)境中的混響情況、聲音反射和吸收情況等；
3.滿足以上要求中部分或者全部都可以叫VR音頻。
有一個圖，可以表明VR音頻的基本概念。（下圖）
VR音頻的實(shí)現(xiàn)要求
Q：VR音頻對比現(xiàn)有的3D音效有什么技術(shù)上的硬性要求，比如采集，儲存，傳輸?shù)确矫娴模浚?/p>
A: 3D音效是一個有一定年頭的東西了，最早你在一些游樂園中聽到3D鬼故事或者是網(wǎng)上的理發(fā)店都是3D音效。目前3D音效主要由立體聲來承載信息，但是由于VR音頻需要實(shí)現(xiàn)和頭顯視覺畫面對應(yīng)的空間音效變化，可以理解為聲音的維度升級。如果假設(shè)傳統(tǒng)的3D音效是2維的話，那VR音效至少要做到3維才能實(shí)現(xiàn)基本要求，所以整體信息采集量和傳輸量和傳統(tǒng)的3D音效都是天翻地覆的區(qū)別，理論上講至少4倍以上。
不過，好在目前的情況看來VR音頻并不會對帶寬提出新的挑戰(zhàn)，因?yàn)橄鄬τ?K的全景視頻的帶寬需求，音頻提升所帶來的帶寬壓力基本可以忽略了。
Q：在視頻，游戲，電影等不同領(lǐng)域，對VR音頻的需求是不是有所不同？為此帶來的算法和方案也會有所不同么？）
A: 答案是肯定的。不同情況下對VR音頻的需求和實(shí)現(xiàn)方式都是不同的。
比如游戲中的VR音頻，游戲廠商在開發(fā)游戲的時候會把對應(yīng)的發(fā)聲源object的對應(yīng)音軌準(zhǔn)備好。比如說腳步聲，開火的聲音，這些音軌都是普通的音軌。在游戲引擎中設(shè)置好根據(jù)這些發(fā)聲的object在虛擬環(huán)境中與player的相對位置，然后對應(yīng)調(diào)用HRTF（Head Related Transfer Function，頭相關(guān)變換函數(shù)）算法來實(shí)現(xiàn)音源的方位化與距離化，最后通過耳機(jī)播放讓玩家感覺的方位信息，實(shí)現(xiàn)聽聲辨位。
又比如音樂會VR節(jié)目制作，VR游戲中音頻不存在采集的問題，因?yàn)橐糗壥菧?zhǔn)備好的，你不可能把一個現(xiàn)場的音樂會通過事先準(zhǔn)備好的音軌代替吧，那就不是這個音樂會了。所以這個時候的VR音頻是要通過現(xiàn)場采集的方式來實(shí)現(xiàn)。這里實(shí)現(xiàn)的方式就比較多了，有通過多向采集再進(jìn)行聲場運(yùn)算的方式，有通過數(shù)字HRTF加工的方式，也有自然HRTF采集的方式，各有各的好處和問題，目前還沒有一個標(biāo)準(zhǔn)是肯定的。但是可以肯定的是大多數(shù)方式都是通過耳機(jī)回放來實(shí)現(xiàn)。
VR音頻的挑戰(zhàn)與瓶頸
Q：目前VR音頻遇到的技術(shù)瓶頸是什么呢？
A: VR音頻相對于現(xiàn)有的VR視頻技術(shù)而言并不存在非常難受的技術(shù)瓶頸。比如說VR視頻中的幾個比較難受的瓶頸包括終端屏幕dpi（像素密度）、高分辨率傳輸、帶寬等等。這些都是需要非常大的投入促使量變到質(zhì)變的發(fā)展過程。
但對于VR音頻而言，大部分現(xiàn)有的技術(shù)加以升級和改進(jìn)已經(jīng)可以滿足VR的需求，更多的是如何推廣和適應(yīng)實(shí)際應(yīng)用的過程。
Q：哪一部分成熟之后，VR音頻才會大規(guī)模在內(nèi)容商普及？
A: 雖然沒有太大的瓶頸但是技術(shù)挑戰(zhàn)還是非常大的。我認(rèn)為在影視與視頻節(jié)目方面VR音頻的主要挑戰(zhàn)是對傳統(tǒng)制作方式與制作思路的挑戰(zhàn)。
這個問題影響其實(shí)非常大，由于VR影視的特殊性，導(dǎo)演在敘事的過程中如何對觀眾產(chǎn)生視覺方向的引導(dǎo)，如何布置場景，如何隱藏?zé)艄夂偷谰撸绾伪３钟^眾的代入感和臨場感......實(shí)際上VR影視對于從19世紀(jì)末就發(fā)明的電影積累下來的拍攝手法和理論都是顛覆性的。很多以前理所當(dāng)然的東西到現(xiàn)在都不適用了，各種拍攝團(tuán)隊都在摸索的尋找新的規(guī)律和方法，所以VR音頻最終能走入千家萬戶，還要看我們奮戰(zhàn)在影視制作一線的工作者能否找到VR音頻制作的新規(guī)則并創(chuàng)作出各種富有感染力的作品。
當(dāng)然，我們作為技術(shù)與硬件提供商，也會盡全力去幫助他們一起來尋找VR中的聲音之路，畢竟在那在頭盔之后可是一個對想象力沒有邊界的世界。
1.TMT觀察網(wǎng)遵循行業(yè)規(guī)范，任何轉(zhuǎn)載的稿件都會明確標(biāo)注作者和來源；
2.TMT觀察網(wǎng)的原創(chuàng)文章，請轉(zhuǎn)載時務(wù)必注明文章作者和"來源：TMT觀察網(wǎng)"，不尊重原創(chuàng)的行為TMT觀察網(wǎng)或?qū)⒆肪控?zé)任；
3.作者投稿可能會經(jīng)TMT觀察網(wǎng)編輯修改或補(bǔ)充。
