近日,Soul App AI團隊(Soul AI Lab)正式開源播客語音合成模型SoulX-Podcast。該模型是一款專為多人、多輪對話場景打造的語音生成模型,支持中、英、川、粵等多語種/方言與副語言風格,能穩(wěn)定輸出超60分鐘、自然流暢、角色切換準確、韻律起伏豐富的多輪語音對話。

除了播客場景以外,SoulX-Podcast在通用語音合成或克隆場景下也表現(xiàn)出色,帶來更真實、更生動的語音體驗。

SoulX-Podcast表現(xiàn)

Demo Page:https://soul-ailab.github.io/soulx-podcast

Technical Report:https://arxiv.org/pdf/2510.23541

Source Code: https://github.com/Soul-AILab/SoulX-Podcast

HuggingFace: https://huggingface.co/collections/Soul-AILab/soulx-podcast

SoulX-Podcast亮點:流暢自然多輪對話、多方言、超長播客生成

零樣本克隆的多輪對話能力

在零樣本克隆播客生成場景中,SoulX-Podcast 展現(xiàn)出卓越的語音生成能力。它不僅能高度還原參考語音的音色與風格,更能根據(jù)對話語境靈活調(diào)節(jié)韻律與節(jié)奏,讓每一段對話都自然流暢、富有節(jié)奏感。無論是多輪長時對話,還是情感層次豐富的交流,SoulX-Podcast 都能保持聲音的連貫與表達的真實。此外,SoulX-Podcast 還支持笑聲、清嗓等多種副語言元素的可控生成,讓合成語音更具臨場感與表現(xiàn)力。

多語種和跨方言的克隆能力

除中英文外,SoulX-Podcast 同樣支持四川話、河南話、粵語等多種主流方言。更值得關(guān)注的是,SoulX-Podcast 實現(xiàn)了跨方言音色克隆——即便僅提供普通話的參考語音,模型也能靈活生成帶有四川話、河南話、粵語等方言特征的自然語音。

超長播客生成

SoulX-Podcast可以支持超長播客的生成,并維持穩(wěn)定的音色與風格。

聚焦語音,AI重構(gòu)情感紐帶

一直以來,聲音都是傳遞信息和情感的重要媒介,也最能在溝通中賦予“情緒溫度”和“陪伴感”。在Soul,用戶積極通過語音實時互動,表達自我、分享交流,收獲新關(guān)系,語音成為用戶構(gòu)建鏈接的“情感紐帶”,“語音社交”也成為平臺頗具代表性的標簽之一。

在推進AI+社交的過程中,智能對話、語音生成、情感化表達等語音能力是Soul重點布局的方向。此前,平臺端到端全雙工語音通話大模型全面升級,并在站內(nèi)開啟內(nèi)測。新模型賦予 AI 自主決策對話節(jié)奏的能力,AI可主動打破沉默、適時打斷用戶、邊聽邊說、時間語義感知、并行發(fā)言討論等,實現(xiàn)更接近生活日常的交互對話和“類真人”的情感陪伴體驗。

同時,團隊推出了自研的語音生成大模型、語音識別大模型、語音對話大模型等語音大模型能力,快速應(yīng)用于“虛擬伴侶”、 群聊派對(多人語音互動場景)等多元場景中。

例如,9月,Soul 的兩位虛擬人——孟知時與嶼你——在群聊派對中發(fā)起了一場持續(xù)約40分鐘的對話,在沒有任何額外投流、僅依靠虛擬人自身自然流量的情況下,這場活動迅速引爆社區(qū),房間互動熱度刷新平臺紀錄,受到了廣大用戶的熱烈歡迎。

這一成功案例讓 Soul 的 AI 技術(shù)與虛擬IP運營團隊深刻意識到:“虛擬IP + AI語音對話” 正在成為虛擬內(nèi)容生態(tài)的重要增長點。它不僅展現(xiàn)了虛擬人的人格魅力與表達張力,更揭示了 AI 在內(nèi)容創(chuàng)作與社交互動中的全新潛能。

然而,當時業(yè)界能夠穩(wěn)定支持多輪自然對話的開源播客生成模型相對較少,并且當場景從單人獨白擴展到多人對話與長篇播客時,也普遍面臨一些問題。為此,Soul 團隊決定開源 SoulX-Podcast, 希望能攜手 AIGC 社區(qū),共同探索 AI 語音在內(nèi)容創(chuàng)作、社交表達與虛擬生態(tài)中的更多可能。

開源新階段,探索AI+社交更多可能

相比傳統(tǒng)的單說話人語音合成系統(tǒng),播客語音合成系統(tǒng)不僅需要保持文本與語音的精準一致,還要具備更強的上下文理解能力,以實現(xiàn)多輪對話間語音銜接的自然流暢與節(jié)奏的動態(tài)變化。此外,面對多角色交互和超長對話場景,系統(tǒng)還需在音色一致性、風格延續(xù)性以及角色切換的準確性上實現(xiàn)更高水平的控制與建模。

近來,已有部分開源研究開始探索播客或?qū)υ拡鼍跋碌亩嗾f話人、多輪次語音合成能力。然而,這些工作仍主要聚焦于普通話或英語,對中文受眾廣泛的方言(如粵語、四川話、河南話等)支持不足。此外,在多輪語音對話場景中,恰當?shù)母闭Z言表達——如嘆息、呼吸、笑聲——對提升對話的生動性與自然度至關(guān)重要,但現(xiàn)有模型對此普遍關(guān)注不足。

而SoulX-Podcast正是希望解決這些痛點:不僅支持多輪、多角色的長對話生成,同時兼顧方言覆蓋和副語言表達能力,使播客語音更貼近真實交流場景、富有表現(xiàn)力與生動感,從而提升聽眾的沉浸體驗和內(nèi)容傳播力。

整體SoulX-Podcast模型基礎(chǔ)結(jié)構(gòu)上采用了常用的LLM + Flow Matching的語音生成范式,前者建模語義token,后者進一步建模聲學(xué)特征。在基于LLM的語義token建模方面,SoulX-Podcast 以 Qwen3-1.7B 作為基座模型,并基于原始文本模型參數(shù)進行初始化,以充分繼承其語言理解能力。

盡管SoulX-Podcast是專為多人、多輪對話場景設(shè)計的系統(tǒng),但在傳統(tǒng)的單人語音合成與零樣本語音克隆任務(wù)中同樣表現(xiàn)優(yōu)異。在播客生成任務(wù)中,相較于近期相關(guān)工作,SoulX-Podcast 在語音可懂度與音色相似度方面均取得了最佳結(jié)果。

SoulX-Podcast在播客場景下的表現(xiàn)

SoulX-Podcast在通用TTS上的表現(xiàn),*官方模型的復(fù)現(xiàn)結(jié)果

此次 SoulX-Podcast 的開源,是 Soul 在開源社區(qū)領(lǐng)域的一次全新嘗試,也是一個新的起點。 Soul團隊表示,未來將持續(xù)聚焦語音對話合成、全雙工語音通話、擬人化表達、視覺交互等核心交互能力的提升,并加速技術(shù)在多樣化應(yīng)用場景與整體生態(tài)中的融合落地,為用戶帶來更加沉浸、智能且富有溫度的交互體驗,持續(xù)提升個體的幸福感與歸屬感。同時,團隊將進一步深化開源生態(tài)建設(shè),與全球開發(fā)者攜手,共同拓展 AI 語音等前沿能力的邊界,探索 “AI +社交” 的更多可能。

免責聲明：市場有風險，選擇需謹慎！此文僅供參考，不作買賣依據(jù)。

關(guān)鍵詞：