論文翻譯：跨語言語音轉換和富有表現力的語音轉換

• 跨語言語音轉換（XVC），其中源語音和參考語音使用不同的語言(例如英文——>中文)。
• 表現語音轉換（EVC），是轉換的音訊更富有說話人身份和情感風格特點。

• 提出了一種新的說話人特徵提取方法，其中應用了說話人一致性損失到聯合說話人編碼器。實驗結果表明，包含說話人一致性損失可以提高說話人相似性和情感相似性。

• 使用Whisper實現XVC：我們使用跨語言語音識別模型Whisper的中間特徵，這有助於生成沒有外國口音的高質量語音，從而實現XVC。

• 使用PPG作為輸入實現EVC：為了模擬參考語音中的情感和說話人資訊，我們使用PPG作為輸入來實現EVC，從而實現準確的情感和說話人特徵轉換。

語音轉換系統在常見的語音轉換任務中在自然度和相似性方面取得了顯著進展。然而，在跨語言語音轉換和表現語音轉換等更復雜任務中，它們的效能仍不完美。在本研究中，我們提出了一種新穎的方法，將聯合訓練的說話人編碼器和從跨語言語音識別模型Whisper中提取的內容特徵結合起來，實現高質量的跨語言語音轉換。

此外，我們引入了一個說話人一致性損失到聯合編碼器中，從而改善轉換後語音與參考語音之間的相似性。為了進一步探索聯合說話人編碼器的能力，我們使用音素後驗圖作為內容特徵，使模型能夠有效地重現參考語音的說話人特徵和情感方面。

關鍵詞：跨語言語音轉換、表現語音轉換、聯合說話人編碼器、說話人一致性損失

引言：

目前，解耦和重構語音中的資訊是實現高質量語音轉換模型的最流行方法。

具體而言，在訓練過程中，從語音中提取內容和說話人資訊，然後用於語音重構。在推理過程中，通過使用源語音中的內容資訊和參考語音中的說話人資訊，生成新的語音來實現語音轉換(簡單來說就是非平行)。

基於音素後驗概率（PPG）的語音轉換方法，如PPG-VC[9]，是基於這一原理的經典語音轉換方法。然而，過去受限於自動語音識別（ASR）效能和語音合成模型能力不足，合成輸出的語音質量有限[10]。隨著非自迴歸（NAR）文字到語音（TTS）模型的出現，例如VITS[11]、FastSpeech2[12]、DiffSinger[13]，以及大規模預訓練的自監督學習（SSL）模型的可用性，例如Hubert[14]和WavLM[15]，高質量的語音轉換模型已經成為可能。FreeVC[16]、ACE-VC[17]和廣泛採用的開源歌聲轉換（SVC）模型SO-VITS-SVC2的基本原理是利用SSL模型從原始語音中提取內容特徵。然後，使用說話人ID或說話人分類模型從語音中提取說話人特定資訊。最後，這兩組資訊都被用於通過TTS模型重構語音。語音轉換結果的質量在很大程度上取決於語音重構模型的合成能力，特別是在準確和明確的內容資訊可用時。(說人話：就是用音素作為特徵，訓練一個聲碼器做語音的生成，這樣的好處是可以保留大量的說話人原本的情緒變換特點)

以前的語音轉換模型，如PPG-VC和Freevc，通常使用預訓練的說話人編碼器在說話人分類任務上進行訓練，以獲取說話人嵌入，然後用於引導語音合成。值得注意的是，訓練說話人編碼器的主要目標不是語音合成，而是說話人識別。因此，這種方法可能會忽略參考語音中存在的寶貴資訊，比如情感。此外，訓練說話人分類模型需要大量的資料集。Freevc-s[16]、Quickvc[18]和NVC-Net[19]使用聯合訓練的說話人編碼器，以確保說話人編碼器的輸出僅包含與說話人相關的資訊。這是通過實現瓶頸結構並仔細排除內容特徵中的說話人資訊來實現的。然而，缺乏一個更詳細的損失函數，專門設計用於捕捉與說話人相關的特徵。

說話人一致性損失的概念已經在幾項研究中使用，包括YourTTS[20]和CyclePPG-XVC[21]，旨在改善模型生成的語音與真實語音之間的說話人相似性。這是通過比較同時處理生成語音和真實語音的說話人編碼器的輸出來實現的。然而，這些研究使用了專門針對說話人分類任務進行訓練的預訓練說話人編碼器。這種方法有一定的侷限性，如上述討論的情感資訊的忽略。此外，這些研究中使用的說話人一致性損失僅更新語音合成模組，對說話人編碼器本身沒有影響。因此，在應用說話人一致性損失方面仍有改進的空間，特別是在XVC和EVC任務中。

方法

2.1.動機

在最近的VC研究中，最先進的VC系統表現出令人印象深刻的效能，特別是在單語種（通常是英語）且沒有情感改變的場景中。生成的語音樣本顯示出與人類聲音的顯著自然度和相似度。我們認為現在是將VC研究的重點從傳統VC轉向更復雜應用的時候了。因此，我們選擇了XVC和EVC任務來展示我們設計的說話人資訊編碼方法的靈活性，它可以處理更多超出傳統VC範圍的任務。

所提出的ConsistencyVC靈感來自於FreeVC-s[16]、LoraSVC3、VALL-e[23]和YourTTS[20]。該模型基於FreeVC-s的基礎架構，因為它具有端到端的結構，可以實現高質量的VC。FreeVC-s的聯合說話人編碼器的瓶頸結構確保只編碼說話人特徵，而不包括內容資訊。此外，非自迴歸設計改進了推斷速度。然而，與FreeVC-s不同，我們從LoraSVC中汲取靈感，並選擇在XVC任務中表現更好的內容特徵，消除了需要進行資料增強的需求，從而節省了大量儲存空間。VALL-e是一種零樣本語音合成模型，它在訓練過程中使用目標語音的3秒片段作為參考語音輸入。該模型可以模仿說話人的特徵，甚至從任何3秒參考語音片段中合成高質量的語音，包括情感特徵。這種分段概念啟發了我們的假設，即語音的子段應該包含與整個語音相似的說話人和情感特徵。基於這一假設，並受到YourTTS的啟發，我們將說話人一致性損失應用於聯合說話人編碼器VC模型的訓練中。這種應用改善了說話人相似性和情感相似性。

2.2. 模型架構

如圖1所示，ConsistencyVC模型的主要結構遵循VITS語音合成模型。但是，文字編碼器和持續時間預測器被替換為類似於VITS中的後驗編碼器的內容編碼器。內容編碼器使用WaveNet殘差塊。內容編碼器不使用文字作為輸入，而是採用來自預訓練ASR模型的內容特徵作為輸入。說話人資訊則通過Mel頻譜圖使用聯合訓練的說話人編碼器進行編碼。在實驗部分，XVC和EVC任務使用不同的資料集和不同型別的內容特徵來訓練VC模型。然而，VC模型的結構保持不變。接下來，將詳細解釋內容特徵的選擇以及說話人編碼器的結構。

2.2.1. 內容特徵

Whisper是一種ASR模型，在跨語言語音識別任務中取得了顯著的成果。它的模型架構基於編碼器-解碼器transformer。我們選擇transformer編碼器塊的輸出，稱為Whisper編碼器的輸出（WEO），作為內容特徵。與以前XVC研究中的內容特徵相比，WEO提供了更準確和全面的資訊，包括源語音的口音(這裡小編持懷疑態度，對說話人語音使用IN會消除不同人語音分佈的均值和方差分佈的影響，只保留內容資訊，難道Whisper沒用IN？，而且在這篇文文章中是希望消除掉源說話人的口音資訊，有點矛盾了)，這對於實現無外語口音的XVC至關重要。因此，我們選擇WEO作為XVC任務的內容特徵。

對於EVC任務，我們選擇使用從在音素識別任務上訓練的wav2vec模型中獲得的PPG（Phoneme Posteriorgram）。這個選擇基於以下事實：同一段話中的不同情感具有不同的韻律。PPG提供了清晰的內容資訊，且包含的韻律資訊較少，因此重建語音的韻律完全依賴於說話者編碼器的輸出，這使得PPG更適合用於EVC任務。

相反，對於XVC任務，WEO比PPG更合適。這是因為在不同的語言中，相同的發音可能有不同的韻律或口音。在XVC任務中，重建語音的韻律應該依賴於來自本地說話者的源語音。

說話者編碼器使用Mel-spectrogram作為輸入來生成編碼的說話者嵌入。說話者編碼器與模型的其餘部分一起訓練。它由一個包含3層LSTM模組和一個全連線層的塊組成，類似於FreeVC-s模型。我們將從語音中得到的Mel-spectrogram輸入到說話者編碼器的LSTM層中。 LSTM的最終隱藏狀態被傳遞給全連線層，使得可變長度的Mel-spectrogram輸入轉換為固定大小的嵌入，實現了瓶頸結構。內容編碼器的輸出被假設為與說話者無關。為了合成語音，模型使用來自說話者編碼器的輸入來替換缺失的說話者資訊。

在訓練策略上，ConsistencyVC模型遵循VITS的訓練策略，在訓練過程中加入了VAE和對抗訓練。對於生成器部分，損失可以表示為：

Lvae = Lrecon + Lkl + Ladv(G) + Lfm(G) + LSCL

其中，Lrecon是重建損失，Lkl是KL散度損失，Ladv(G)是對抗損失，Lfm(G)是特徵匹配損失。這些損失類似於VITS，所以這裡不再詳述具體細節。而是著重解釋說話者一致性損失LSCL。

在VITS的實現中，研究人員採用了視窗化生成器訓練技術[24]，該技術在訓練過程中僅生成原始波形的一部分，以減少計算需求。他們隨機提取潛在表示z的片段，並將其饋送到基於HiFi-GAN的解碼器，相應的音訊片段則從真實的原始波形中提取作為訓練目標。這導致模型在訓練過程中生成的輸出語音長度只是輸入語音長度的一小部分。

在FreeVC-S中，對於VC任務，輸入的內容資訊也被分段，限制了內容特徵的最大大小。我們假設與輸入內容特徵相對應的語音段和模型輸出的語音段應該包含相同的情感和說話者特徵。基於這個假設，我們可以為共同訓練的說話者編碼器設計說話者一致性損失。

形式上，設ϕ(·)是說話者編碼器的函數，它輸出參考語音的說話者嵌入。說話者一致性損失定義為生成的語音段與真實語音段之間的說話者嵌入的L1距離：