<dd id="lp9km"></dd>
<progress id="lp9km"></progress>

<span id="lp9km"><input id="lp9km"></input></span>

<em id="lp9km"></em>

  • <tbody id="lp9km"></tbody>

      1. <span id="lp9km"><track id="lp9km"></track></span>
            <li id="lp9km"><tr id="lp9km"></tr></li><em id="lp9km"></em>

          1. <th id="lp9km"><track id="lp9km"></track></th>
            <rp id="lp9km"><object id="lp9km"><input id="lp9km"></input></object></rp>
            水水精品軟件下載園:打造綠色軟件,免費軟件下載基地!
            您的位置:首頁 > VR資訊 > VR技術交流 > 視覺沖擊音頻缺失的vr虛擬現實怎樣創造沉浸感

            視覺沖擊音頻缺失的vr虛擬現實怎樣創造沉浸感

            2016-10-24 14:34:24來源: 水水精品軟件下載園 作者: 佚名 我要評論()

            視覺沖擊音頻缺失的vr虛擬現實怎樣創造沉浸感?VR 頭顯廠商為了營造沉浸感,挖空心思提升關鍵技術參數,刷新率、頭部追蹤延遲、視場角、分辨率等,但唯一缺少的就是音頻。

            VR 音頻的價值究竟在哪兒?VR 視頻制作公司、著名導演 David Marlett 的一句話或許能讓我們找到答案。他說,VR 影視作品和傳統影視的本質區別在于——大信息量選擇性攝入。對于大腦而言,聽覺和視覺,一開始就是協同工作而非單獨分析,只有通過聲音的判斷,我們才能夠做出現實世界中的反應。VR 頭顯廠商為了營造逼真沉浸感,挖空心思提升關鍵技術參數,比如刷新率、頭部追蹤延遲、視場角、分辨率等,但這些參數中,唯一缺少的就是音頻。

            為什么音頻對沉浸感有這么重要的作用?我們來把美國哲學家希拉里·普特南曾提出的 “缸中之腦” 的概念套用在 VR 中。如果想獲得完全的沉浸感,那么你在 VR 世界中獲取信息后作出的反應,就應該與現實世界中獲取信息后的反應保持一致。比如:當一位美女在你左側拍手,你在現實中正常的反應就應該是向左側轉身,然后獲取拍手的人是美女這個信息,即:聽到拍手聲(判斷行為依據)—— 轉身(行為動作)——看見美女(信息獲得)。可見,聲音在這里起到的作用是行為產生的最初始依據。這就是全景音頻對 VR 體驗的價值,它是引導用戶獲取信息的 “線索”。

            VR 的一個重要問題就是信息的選擇性攝入,在傳統顯示方式中所有的信息都在用戶的面前,沒法選擇。但 VR 不同,它提供了全景的觀看模式,有更豐富的畫面供選擇,但反而迷失了方向,不知道按照什么順序觀看。所以,你會看到,大部分人帶上頭盔后都是上下左右看一圈,然后就不知道看哪兒了,這種體驗只能帶來觀感的豐富性,但并無沉浸感可言。而有了 VR 音頻,就完全不同。我們通過聲音信息,來指引用戶觀看的順序和邏輯,尤其是 VR 影視,導演需要引導關注點在不同的信息點上移動。而大量無序的并發信息,在沒有引導的情況下,最終就會把用戶搞得暈頭轉向,產生觀感混亂。

            其實,這個問題,國內外各大 VR 廠商早就心里有數。Oculus Rift 集成了數字 HRTF(人頭相關函數)算法,可以實時計算出游戲世界中聲源的方位與距離信息。在影視制作方面 Core Sound、Nokia、3Dio 也推出了解決 VR 音頻的技術方案。大名鼎鼎的森海塞爾也在 2015年CES 上宣布進入 VR 音頻行業。

            目前主流的 VR 音頻采集方案,主要涉及到聲場還原技術和 HRTF 人頭傳遞函數:

            聲場還原技術

            這是一項十多年前就成熟的技術,最出名的應用就是 Sound Field Digital Surround Sound Microphone Systems,通過 4 個方向的麥克風采集的信息分離開,模擬出 5.1 ;7.1; 10.1 甚至更多方向的聲道,然后通過家庭影院或者影院的音響系統回放還原。

            HRTF(人頭傳遞函數)

            人們聽到的聲音和空間中實際發出的聲音其實是不同的, 聲音在傳到鼓膜之前會受到人頭部以及頭部上各種結構以及材質的干擾,而些干擾可以被大腦察覺并且成為空間判斷的依據,這就是為什么人可以分辨聲音方向與距離的原因。HRTF 可以理解為這些干擾的統稱,它從實現方式上可以分為數字 HRTF 和自然 HRTF。Oculus Rift 和很多游戲中采用的就是數字 HRTF,而自然 HRTF 是基于雙耳錄音(Binaural recording)的實現方式,但是因為實現方式不能像數字 HRTF 那樣自由,所以主要應用在影視以及音樂制作中。目前數字 HRTF 由于各種限制,還無法達到自然 HRTF 的真實效果。

            目前,市面上能解決 VR 音頻的技術方案各有各的優勢,主要包括以下幾張實現方式:

            一是,4 向采集---聲場還原---數字 HRTF 模擬---全景回放,包括 SoundField Digital Surround Sound Microphone Systems、Core Sound TetraMic 等。這種解決方案的最大優點在于體積小方便攜帶,但缺點是方向信息是通過模擬產生,與實際聲場有很大區別,通過后期數字 HRTF 加工,來還原出音源方向。

            二是,立體 8 向采集---聲場還原---數字 HRTF 模擬---全景回放,目前只有 NOKIA、OZO 使用這種技術方式,主要采用數字 HRTF 方案。NOKIA 使用了按照等邊多邊形方式擺放的 8 個聲音傳感器來收集數據,然后通過聲場還原出 360 度各個方位的聲音信息,再通過數字 HRTF 運算來加工為人可以感受的 VR 音頻。不足之處在于,將所有的聲場運算與 HRTF 運算全部在終端設備中完成,這個運算量對使用手機設備作為終端的 VR 設備來說,壓力巨大,且價格較高,約 6 萬美元。

            三是,自然 HRTF 采集---聲場優化---全景回放,包括 3dio、Omnia(OculusVR 音頻技術合作商)在內的 VR 音頻采集設備。這種解決方案由雙耳錄音(Binaural recording)技術發展而來,采用自然 HRTF 而非數字 HRTF,在聲音的逼真度上較高,用戶可以清楚的辨認出方位和距離,對于要求較高的 VR 拍攝團隊或企業來說,性價比較高。目前,Oculus VR 與三星 Gear VR 的 Demo 視頻就是采用這種方案制作的。這種方案的技術難點在于如何保持自然 HRTF 采集的仿真度,3Dio 采用簡化 Binaural 的方式,損失大量的面部以及輪廓干擾,Omnia 保持了輪廓與面部特征,但是由于所有特征都擠在了一個水平面上,所以各個方向上的特征會互相干擾影響效果。而另一種技術則采用同軸 X Binaural 技術,采集 8 個方向的信息,可以避免干擾,最大限度還原了人耳的聲音效果。

            根據 Digi-Capital 的數據,VR 音頻市場預計 2016年 將超過 7000 萬美元,到 2020年 達到 5 億美元。對大眾來說,VR 領域中有太多的陌生概念需要理解,相比 VR 視頻來說,音頻的關注度還相對較好。但我們發現,近期多家創業公司完成融資,進入發展快車道,這也顯示出資本市場的投資新方向,隨著人們對 VR 音頻重要性認知的逐步成熟,這個領域前景可期。

            網友評論

            jiz中国zz