應(yīng)用

技術(shù)

物聯(lián)網(wǎng)世界 >> 物聯(lián)網(wǎng)新聞 >> 物聯(lián)網(wǎng)熱點(diǎn)新聞
企業(yè)注冊個人注冊登錄

空間音頻≠真實(shí)現(xiàn)場 聲卡的終極形態(tài)其實(shí)是顯卡

2020-07-17 09:03 中關(guān)村在線

導(dǎo)讀:蘋果這次更新的空間音頻就是通過陀螺儀將聲場鎖死的方式,通過算法為用戶改變聲場方位感。

前段時間的蘋果開發(fā)者大會上,蘋果公司為AirPods Pro公布了全新“空間音頻”功能,并稱該空間音頻功能支持5.1/7. 1 音源和杜比音效,且能通過內(nèi)置的陀螺儀感應(yīng)頭部的移動,來實(shí)時跟蹤和同步各個方向的聲場。

空間音頻≠真實(shí)現(xiàn)場 聲卡的終極形態(tài)其實(shí)是顯卡

空間音頻對于多數(shù)人來說并不是一個陌生的東西,其基礎(chǔ)就是源于模擬7.1聲道的電競耳機(jī)。隨著fps游戲引燃了電競市場“聽音辨位”這一需求,通過算法帶來更精確位置感的聲音算法技術(shù)也越來越受到耳機(jī)廠商們的重視。隨著市場逐漸飽和,廠商們又開始在新的方向上尋求突破,比如蘋果這次更新的空間音頻就是通過陀螺儀將聲場鎖死的方式,通過算法為用戶改變聲場方位感。然而這種通過直接渲染輸出聲音的方式真的是我們追求的真實(shí)現(xiàn)場的臨場感嗎?筆者的答案是否定的。

空間音頻≠真實(shí)現(xiàn)場

作為一個資深的PUBG咸魚玩家,筆者深知模擬真實(shí)的臨場感對玩家的重要性。蘋果把空間音頻功能的重心放在“頭部追蹤+鎖聲場”上。從聽感的角度來說,只要人頭位置不變,該功能的效果等于不存在。在人頭位置不變時,開啟這項(xiàng)功能帶來的音質(zhì)改變類似EQ效果,至于對音質(zhì)的影響是正面還是負(fù)面也很難有定論。因此,AirPods Pro音質(zhì)會提升這件事情顯然只是炒作,信他個鬼。

空間音頻≠真實(shí)現(xiàn)場 聲卡的終極形態(tài)其實(shí)是顯卡

反觀該功能的實(shí)際應(yīng)用,空間音頻這項(xiàng)功能真的有意義嗎?玩游戲時1s不盯著屏幕都有可能暴斃、看電影的時候轉(zhuǎn)頭也有可能錯過場景。更糟糕的是,如果開啟空間音頻,用戶在玩游戲的時候一旦頭部方向不正甚至?xí)苯訉?dǎo)致方向感出現(xiàn)問題,可見其很有可能帶來成事不足、敗事有余的體驗(yàn)。

再者說,讓觀看畫面的用戶頭部轉(zhuǎn)動,手機(jī)、電腦端的畫面并不是像VR游戲那樣隨著人體轉(zhuǎn)動而變化的。這種體驗(yàn)就好比井底之蛙,即使換個角度能聽到其他方的聲音,卻也只能看到一成不變的畫面,這與真實(shí)的臨場感絕對是背道而馳的。

如何獲得真實(shí)的臨場感?這還要從人耳聲源定位開始說起

人耳朵分辨聲音的方向的方式主要分為兩類,一類是聲音到兩耳朵的時間差、一類是聲音到耳朵的音量差。

空間音頻≠真實(shí)現(xiàn)場 聲卡的終極形態(tài)其實(shí)是顯卡

低頻段的聲波(20-1.5kHz)波長大于一般人頭的直徑,因此人在聽到這個頻段的聲音時兩耳感受到的音量是差不多的。在這個頻段區(qū)間內(nèi),聽覺中樞依據(jù)兩耳聲波的相位差來計算聲源位置,從而給人腦遞出方向信號。

高于2kHz的中高頻聲音的波長較低,無法繞過人頭抵達(dá)對側(cè)耳朵。這導(dǎo)致該聲波在穿過人頭部時強(qiáng)度會有所衰減,使人的兩耳聽起來聲音不一樣大。人耳通過大小不同的音量差可以精確的識別聲音的方位,并給人腦遞出方向信號。

同時,因?yàn)槊總€人的身材、頭部大小、耳朵形狀等生理因素,每個人的大腦會自行學(xué)習(xí)和適應(yīng)。這意味著算法必須要因人而異,如果不能將每個人獨(dú)有的生理因素計算在內(nèi),其效果也很難得到保障。

除了人耳對聲源的定位,還有空間中的聲音還會受回聲、混響和擴(kuò)散的影響

回聲:聲源發(fā)出的聲波會向各個方向傳播,有些聲波會直接達(dá)到人耳,也就是我們所說的直達(dá)聲。除此之外,還有一些聲音會接觸到墻壁、地面等物質(zhì)結(jié)構(gòu)上被在此發(fā)射,形成一個二次、三次甚至更多次的聲源。如果這些反射聲的延時相距直達(dá)聲50ms以上,則稱之為回聲。要知道的值,在聲音從左耳至右耳貫穿人頭時,兩耳聽到聲音的時間差在10us時即可被分辨??梢娤胍獙?shí)現(xiàn)真實(shí)的臨場感,回聲相關(guān)的計算是必不可少的。

混響:聲源在發(fā)出聲音后,聲音會在當(dāng)前環(huán)境中的物質(zhì)結(jié)構(gòu)碰撞并反射。原聲消失后,空間中仍然可以聽到的聲音就是混響,一般出現(xiàn)在房間內(nèi)。混響是在電影、音樂、游戲中常見的聲音渲染效果。

擴(kuò)散:當(dāng)聲波撞擊凸凹不平或呈球面狀的表面時,聲音會向物體內(nèi)部分散或被擴(kuò)散。擴(kuò)散常用于用來減弱聲音的反射,其受物體材料、形狀、表面粗糙度、密度分布等影響較大,很多游戲內(nèi)的聲音聽起來假的一部分原因,就是因?yàn)樗鼈儧]有重視聲音擴(kuò)散的效果計算。

空間音頻≠真實(shí)現(xiàn)場 聲卡的終極形態(tài)其實(shí)是顯卡

從人耳的聲源定位,到回聲、混響、擴(kuò)散對聲音的影響,可見想要實(shí)現(xiàn)完美的真實(shí)臨場感,通過空間建模、將現(xiàn)實(shí)中影響聲音的因素計算在內(nèi)是必須的。如果聲卡中能夠出現(xiàn)類似顯卡的“光線追蹤”,讓聲卡能夠?qū)崿F(xiàn)“聲音路徑追蹤”。如果有了追蹤聲音路徑的技術(shù),無論是模擬音樂現(xiàn)場、電影、游戲還是任何三次元中可能存在的音頻,它都可以實(shí)現(xiàn)如同真實(shí)回放。這也是為什么筆者在標(biāo)題中會說:聲卡的終極形態(tài)其實(shí)是顯卡。

空間音頻≠真實(shí)現(xiàn)場 聲卡的終極形態(tài)其實(shí)是顯卡

當(dāng)前主流顯卡的算力拿來計算聲音的效果絕對是夠的,但是聲音相關(guān)的技術(shù)算法還沒有到位。至于未來會不會實(shí)現(xiàn)以及實(shí)際價值,只看有沒有大廠愿意投錢去做這個事情了。沒準(zhǔn)哪天英偉達(dá)高管開始燒HiFi或VR的時候意識到這個問題,就把它做了呢~

寫在最后

想要提升音質(zhì)、帶來真實(shí)的現(xiàn)場感,耳機(jī)產(chǎn)品面臨的最大問題并非在于聲場的方向上,而是在與耳機(jī)本身無法適應(yīng)每個人獨(dú)有的體態(tài)特征導(dǎo)致的差異化聽感。想要解決它,只需像顯卡一樣針對個人體態(tài)特征建模似乎才是正確的手段。至于期待AirPods Pro的“空間音頻”能給你帶來如同身臨其境聽音體驗(yàn)的朋友,我勸你還是省省吧!有這錢,還是買HiFi耳機(jī)香一些。