HMS Core音訊編輯服務音源分離與空間音訊渲染，助力快速進入3D音訊的世界

從單聲道、立體聲、環繞聲發展到三維聲，音訊回放技術的迭代演進是為了還原真實世界的聲音。其中，三維聲技術使用訊號處理的方法對到達兩耳的聲音訊號進行模擬，將聲場還原為三維空間，更接近真實世界。憑藉這個技術，各廠商在遊戲、影視、音樂等場景中為使用者創造更真實自然且沉浸的聽覺體驗，也實現了更好的使用者訂閱增長。

傳統3D音訊的製作需獲取原始的分軌素材（如錄製的人聲、鋼琴聲等），並使用專業的數位音訊工作站（DAW）和3D混音外掛手工製作，因此製作週期長、生產效率低、成本高、門檻高。此外，開發者由於沒有歌曲的原始分軌，因此通過傳統方法進行3D音訊製作的難度很大。HMS Core音訊編輯服務（Audio Editor Kit）提供了音源分離（獲取分軌）、空間音訊渲染能力，開發者僅需輸入立體聲，就能快速生成3D音訊內容，提升使用者音訊體驗和提升產品競爭力！

HMS Core音訊編輯服務3D音訊生成示意圖

音源分離技術

由於我們當前接觸到的音訊大都是立體聲，所有音訊物件（如音樂中的人聲、鋼琴、吉他等）都已經混合在左右兩個聲道當中，無法輕易地分開，更不要提將其渲染放置在不同的空間位置，因此將立體聲中的特定元素分離是3D化的一個核心技術。

華為演演算法團隊通過對大量的音樂進行深度學習建模，並結合傳統訊號處理能力最終實現音源分離：首先利用短時傅立葉變換（STFT）將一維的音訊訊號變換到二維的時頻譜；然後將得到的二維的時頻譜與原始的一維時域訊號一起作為雙流輸入，通過多層的殘差編碼及大量資料的訓練，獲得目標樂器的隱空間表達；最後進一步通過一系列的變換矩陣最終還原成原始的物件立體聲訊號。
上述處理過程中使用的變換矩陣和網路結構是華為的獨特技術，是針對不同的樂器音色特點專門設計的，能夠確保每一個樂器都能儘可能的分離完整且乾淨，為3D化提供足夠優質的分軌素材。其涉及的核心能力包括：

1、 音訊訊號特徵提取：包括通過編碼器從時域訊號直接提取特徵，以及通過短時傅立葉變換從時域訊號提取時頻譜特徵；

2、 深度學習模型構建：加入殘差模組與注意力機制，增強對不同樂器諧波建模能力與時序關聯能力；

3、 多通道維納濾波：結合傳統訊號處理的能力，通過深度學習建模預測物件與非物件功率譜關係，構建與處理濾波係數。

音訊分離技術示意圖

目前，HMS Core已對外開放了12種音源分離的能力（人聲、伴奏、鼓、小提琴、貝斯、鋼琴、木吉他、電吉他、絃樂、主唱、帶伴唱伴奏和管絃樂），幫助開發者快速地提取出自己想要的樂器進行3D化編輯。

空間音訊渲染技術

僅通過兩隻耳朵收聽外部聲音，人類為什麼可分辨聲源的位置呢？這是由於從聲源傳遞到兩隻耳朵的聲音實際上存在細微的差異，包括到達時間、接收到的能量、以及相位差等資訊。而這些資訊差綜合體現在一系列傳遞函數，稱為頭相關傳遞函數（HRTF）。通過將HRTF疊加到單點聲源，我們就可以虛擬出真實世界中聲音的方位直達聲的部分。為解決因頭型、肩寬等人體體徵的差異帶來的HRTF因人而異的難題，我們通過大量資料的分析，設計了一套較普適的HRTF，可以讓每個人都能享受到3D音訊。另外為了營造空間中聲音的反射、散射、干涉等物理現象，我們還通過疊加一系列的房間相應函數（RIR）來構建真實的空間，形成所謂的混響。因此，通過一系列的HRTF和RIR對聲源進行濾波，我們就可以將之前分離的素材進行3D化，形成3D音樂。

空間音訊渲染技術示意圖

目前，HMS Core音訊編輯服務提供的音源分離、空間音訊渲染服務這套組合拳已經應用在華為音樂的高階音效當中，使用者可以進入華為音樂音效頁面，在高階音效欄目中選擇聲空音效或聲樂純享，感受3D音訊的魅力。

華為音樂聲空音效與聲樂純享功能

以上技術來自華為2012實驗室，通過HMS Core音訊編輯服務面向開發者開放，在音樂音訊領域為使用者帶來差異化的3D音訊體驗。其他更多關於HMS Core音訊編輯服務的資訊，請存取華為開發者聯盟-HMS Core音訊編輯服務官網

瞭解更多詳情>>

存取華為開發者聯盟官網
獲取開發指導檔案
華為移動服務開源倉庫地址：GitHub、Gitee

關注我們，第一時間瞭解 HMS Core 最新技術資訊~