Step-Audio-EditX：用大語言模型“雕琢”聲音，開啟音頻編輯新視界！
在人工智能技術飛速發展的今天，音頻處理領域也迎來了重大突破。Step-Audio-EditX作為全球首個開源的LLM音頻編輯大模型，憑借其強大的功能和創新的技術架構，為音頻創作和編輯帶來了全新的可能性。
一、項目概述
Step-Audio-EditX是由階躍星辰開發的開源音頻編輯大模型，它基于3B參數的LLM架構，專注于音頻的情感、說話風格和副語言編輯。該模型不僅支持零樣本TTS（文本到語音合成），還能夠通過迭代編輯實現情感和風格的細粒度控制。其核心創新在于僅使用大邊距合成數據進行訓練，無需額外的編碼器或適配器，即可實現音頻屬性的解耦和迭代控制。
二、核心功能
（一）情感編輯
Step-Audio-EditX支持對音頻進行情感編輯，涵蓋憤怒、開心、悲傷等多種情感標簽。用戶可以通過簡單的指令對音頻的情感進行增強或減弱，甚至可以進行多次迭代編輯，以達到理想的強度。
（二）風格編輯
該模型能夠對說話風格進行編輯，如撒嬌、耳語、老人等風格。用戶可以根據需要對音頻進行風格疊加或微調，使語音更具表現力。
（三）副語言插入
Step-Audio-EditX還可以插入呼吸、笑聲、嘆氣等10類自然副語言token，增強音頻的自然度和情感表達。
（四）零樣本TTS
無需目標人物的語音樣本，Step-Audio-EditX即可克隆出音色。此外，用戶還可以通過在文本前添加方言標簽（如“\[四川話\]”“\[粵語\]”）直接切換方言。
三、技術揭秘
（一）雙碼本音頻分詞器
Step-Audio-EditX采用雙碼本音頻分詞器，將音頻轉換為離散token序列。其中，語言碼本采樣率為16.7 Hz，包含1024項；語義碼本采樣率為25 Hz，包含4096項。這種分詞方式保留了音頻的情感、韻律和語義信息，為后續的LLM處理提供了基礎。
（二）音頻LLM
音頻LLM是Step-Audio-EditX的核心組件之一，它以文本LLM為基礎進行熱啟動，參數量為3B。該LLM能夠處理文本和音頻token的輸入，并生成目標token序列。通過大邊距數據的訓練，音頻LLM能夠實現情感和風格的解耦。
（三）音頻解碼器
音頻解碼器由流匹配模塊和BigVGANv2聲碼器組成。流匹配模塊基于DiT骨干網絡，生成Mel頻譜圖；BigVGANv2聲碼器則將Mel頻譜圖轉換為音頻波形。該解碼器在20萬小時的高質量語音數據上進行訓練，確保了發音的準確性和音色的一致性。
（四）大邊距合成數據驅動
Step-Audio-EditX的訓練數據完全基于大邊距合成數據。通過生成“同文本、異屬性”的音頻對，模型能夠在訓練過程中專注于學習情感和風格的變化，從而實現屬性解耦和迭代控制。
（五）兩階段后訓練策略
1. 監督微調（SFT）：使用大邊距合成數據對模型進行微調，使其具備零樣本TTS和多樣化音頻編輯能力。
2. 強化學習（PPO）：采用PPO算法，結合人類標注和LLM-as-a-Judge生成的偏好數據，進一步提升模型在高難度編輯任務中的表現力。
四、性能表現
與Doubao-Seed-TTS-2.0和MiniMax-speech-2.6-hd等閉源模型對比，Step-Audio-EditX在零樣本克隆和情感控制方面均優于這些模型。特別是在情感編輯迭代后，其效果甚至超過了閉源模型的原生情感控制功能
五、快速使用
（一）下載安裝
1. 克隆項目：
git clone https://github.com/stepfun-ai/Step-Audio-EditX.git2. 創建并激活Python環境：
conda create -n stepaudioedit pythnotallow=3.10
conda activate stepaudioedit
pip install -r requirements.txt3. 下載模型權重：
訪問Hugging Face倉庫（<https://huggingface.co/stepfun-ai/Step-Audio-EditX>）下載Step-Audio-Tokenizer和Step-Audio-EditX模型。
git lfs install
git clone https://huggingface.co/stepfun-ai/Step-Audio-Tokenizer
git clone https://huggingface.co/stepfun-ai/Step-Audio-EditX（二）啟動運行
以下是docker運行示例：
build docker
docker build . -t step-audio-editx
run docker
docker run --rm --gpus all \
-v /your/code/path:/app \
-v /your/model/path:/model \
-p 7860:7860 \
step-audio-editx（三）Web Demo
用戶可以通過以下方式體驗Step-Audio-EditX的Web Demo，（GPU至少32GB以上）
python app.py --model-path /path/to/models然后訪問`localhost:7860`。
六、應用場景
（一）有聲內容升級
Step-Audio-EditX可以快速為有聲書、播客、新聞朗讀等添加情感或風格，無需重新錄音即可生成多版本音頻，提升聽眾的沉浸感。
（二）視頻與廣告配音
在短視頻、動畫、廣告片等場景中，Step-Audio-EditX能夠零樣本克隆角色音色，并通過迭代編輯添加多種風格，實現低成本、多角色、多情緒的自動配音。
（三）游戲/虛擬偶像
對于NPC、虛擬主播、VTuber等虛擬角色，Step-Audio-EditX可以實時插入笑聲、呼吸、嘆氣等副語言，打造更鮮活、更具互動性的角色語音。
（四）智能客服與語音助手
智能客服機器人和語音助手可以利用Step-Audio-EditX將平淡的語音答復轉換為熱情或安撫的語氣，改善用戶體驗。同時，該模型還支持方言標簽，滿足地域化服務需求。
（五）教育/語言學習
在線課程和語言學習應用可以利用Step-Audio-EditX生成適齡讀音或切換方言，幫助學生更好地跟讀模仿，降低教師錄音成本。
（六）會議記錄與無障礙
對于含有噪聲或過長停頓的會議錄音，Step-Audio-EditX可以進行降噪和靜音修剪編輯，再根據需求調整語速或添加情感，生成清晰、易讀的會議紀要音頻。
七、結語
Step-Audio-EditX作為全球首個開源的LLM音頻編輯大模型，憑借其強大的功能和創新的技術架構，為音頻創作和編輯帶來了全新的可能性。無論是在有聲內容創作、視頻配音，還是智能客服等領域，Step-Audio-EditX都展現出了巨大的應用潛力。隨著技術的不斷發展，我們期待Step-Audio-EditX在未來能夠為音頻處理領域帶來更多驚喜。
項目地址
項目官網：https://stepaudiollm.github.io/step-audio-editx/
Github倉庫：https://github.com/stepfun-ai/Step-Audio-EditX
Hugging Face模型庫：https://huggingface.co/stepfun-ai/Step-Audio-EditX
arXiv技術論文：https://arxiv.org/pdf/2511.03601
本文轉載自??小兵的AI視界??，作者：AGI小兵
