在大型語言模型（LLM）的浪潮下，多模態 AI 取得了飛速發展，尤其是在視覺語言（LVLM）領域，已經形成了成熟的研究范式。然而，與之形成鮮明對比的是，大型語音語言模型（LSLM）的發展卻顯得零散且步調緩慢。

該領域長期被碎片化的架構、不透明的訓練數據和缺失的評估標準所困擾，導致研究之間難以進行公平比較，嚴重阻礙了技術的可復現性和社區的系統性進步。許多研究雖然發布了模型權重，但其賴以成功的關鍵 —— 訓練數據和配置細節 —— 卻常常被 “雪藏” 起來。

為了打破這一僵局，北京深度邏輯智能科技有限公司推出了 LLaSO—— 首個完全開放、端到端的語音語言模型研究框架。

LLaSO 旨在為整個社區提供一個統一、透明且可復現的基礎設施，其貢獻是 “全家桶” 式的，包含了一整套開源的數據、基準和模型，希望以此加速 LSLM 領域的社區驅動式創新。

• 論文標題：LLaSO: A Foundational Framework for Reproducible Research in Large Language and Speech Model論文地址：https://arxiv.org/abs/2508.15418v1
• 代碼地址：https://github.com/EIT-NLP/LLaSO
• 模型地址：https://huggingface.co/papers/2508.15418

LSLM 領域的技術挑戰與研究痛點

相比視覺語言模型（LVLM）領域已形成 CLIP 編碼器 + LLaVA 范式的成熟生態，LSLM 研究面臨四大核心挑戰：

1. 架構路徑分化嚴重

當前 LSLM 架構主要包括外部特征融合、跨模態注意力機制、隱式對齊等多種技術方案，缺乏如 LVLM 領域般的統一范式。不同研究團隊采用差異化架構，導致技術進展難以積累和比較。

2. 訓練數據嚴重私有化

主流 LSLM 如 Qwen-Audio、Kimi-Audio 等均依賴私有數據訓練，數據規模、質量、構成等關鍵信息不透明。這使得：

• 可復現性差：其他研究者無法復現相同結果
• 性能歸因模糊：難以判斷性能提升源于架構創新還是數據優勢
• 研究門檻高：新入場者需要大量資源構建私有數據集

3. 任務覆蓋局限性明顯

現有數據集主要聚焦語義理解任務，對語音中的副語言學信息（paralinguistic information）如情感、口音、韻律、說話人特征等覆蓋不足，限制了模型的全面語音理解能力。

4. 交互模態單一化

大多數 LSLM 僅支持 "文本指令 + 音頻輸入" 的單一交互模式，缺乏對 "音頻指令 + 文本輸入" 和純音頻交互等復雜模態組合的系統性支持。

LLaSO 框架：三大核心組件構建完整生態

圖一：llaso 語料庫的制作流程

LLaSO 框架通過三個核心開源組件解決上述挑戰：

LLaSO-Align：大規模語音 - 文本對齊數據集

• 數據規模：1200 萬語音 - 文本對齊樣本
• 數據來源：聚合對話、有聲書、多口音語音等多樣化來源
• 技術目標：通過自動語音識別（ASR）任務建立語音表示與文本語義空間的精確對齊
• 質量控制：采用多重過濾機制確保數據質量和說話人多樣性

LLaSO-Instruct：多任務指令微調數據集

• 數據規模：1350 萬多任務指令樣本
• 任務覆蓋：涵蓋語言學、語義學、副語言學三大類共 20 項任務 

a.語言學任務：ASR、翻譯、總結等基礎語言理解

b.語義學任務：問答、推理、內容分析等高級認知

c.副語言學任務：情感識別、口音檢測、說話人分析等

• 模態支持：系統性支持三種交互配置 

a.文本指令 + 音頻輸入（Text-Audio）

b.音頻指令 + 文本輸入（Audio-Text）

c.純音頻指令與輸入（Audio-Audio）

圖二：LLaSO 語料庫的任務組成

LLaSO-Eval：標準化評估基準

• 樣本規模：15,044 個測試樣本
• 數據隔離：與訓練集嚴格分離，確保評估公平性
• 評估維度：覆蓋所有 20 項任務的 comprehensive evaluation
• 可復現性：提供統一評估協議和自動化評估工具

圖三：LLaSO-Base 在 LLaSO-Eval 基準測試上的表現結果

這三大組件共同構成了一個完整的訓練、微調和評估流水線，為 LSLM 研究提供了前所未有的開放性和便利性。

LLaSO-Base：技術驗證與性能基準

為驗證框架有效性，邏輯智能團隊基于 LLaSO 數據訓練了 38 億參數的參考模型 LLaSO-Base。

模型架構設計

采用經典三階段架構：

• 語音編碼器：Whisper-large-v3，負責語音特征提取
• 模態投影器：多層感知機（MLP），實現語音 - 文本特征空間映射
• 語言模型 backbone：Llama-3.2-3B-Instruct，提供語言理解和生成能力

兩階段訓練策略

• 對齊階段：凍結編碼器和 LLM，僅訓練投影器，使用 LLaSO-Align 數據建立 modality alignment
• 指令微調階段：聯合訓練投影器和 LLM，使用 LLaSO-Instruct 數據學習 complex instruction following

圖四：LLaSO 模型架構示意圖

LLaSO-Base 模型實驗結果分析

我們在一系列嚴格設計的實驗中，將 LLaSO-Base 與多個業界領先的語音語言模型（LSLMs）進行了直接對比。所有實驗均在我們構建的標準化評估基準 LLaSO-Eval 上完成，確保了比較的公平性和結果的可復現性。

實驗設置與評估基準

為確保評估的全面性，我們選取了 10 個主流的語音語言模型作為基準，包括 Qwen2-Audio、Typhoon-Audio、Salmonn、GLM-4-Voice、Mini-Omni、Kimi-Audio 等。所有模型的評估均在統一的 LLaSO-Eval 測試集上進行。

圖五：詳細描述了 LLaSO-Eval 評估基準的構成。

該基準包含 15,044 個樣本，覆蓋了 20 種不同任務。這些任務被系統地劃分為三大類別，以實現對模型能力的深度剖析：

• 語言學任務 (Linguistic): 核心是自動語音識別 (ASR)，評估模型最基礎的語音轉文本能力 。
• 語義任務 (Semantic): 核心是音頻問答 (AQA)，評估模型對音頻內容的高層次理解、推理和生成能力 。
• 副語言學任務 (Paralinguistic): 進一步細分為 “以說話人為中心”（如性別、年齡、口音識別）和 “以內容為中心”（如意圖預測、實體提取）兩類，旨在評估模型對言外之意的捕捉能力 。

評估指標說明

我們的評估體系采用了多種指標，以確保對模型各方面性能的精確衡量 ：

• WER/CER (詞 / 字錯誤率): 用于 ASR 等轉錄任務，數值越低，表示準確率越高。
• Accuracy (準確率): 用于分類任務（如性別、口音識別），數值越高，性能越好。
• MAE (平均絕對誤差): 用于數值預測任務（如年齡識別），數值越低，預測越精準。
• GPT-4o Score (GPT-4o 評分): 針對 AQA 等開放式生成任務，我們使用 GPT-4o 對模型輸出的相關性和準確性進行 1-5 分的打分，分數越高代表表現越好。
• Abstention Rate (拒絕回答率): 衡量模型在面對不熟悉或困難任務時的 “回避” 傾向。此比率越低，說明模型的指令遵循能力和魯棒性越強。

總體性能對比：LLaSO-Base 表現全面領先

圖六： 直觀地展示了所有模型在 LLaSO-Eval 上的總體性能得分（經過歸一化處理）。

從圖中可以清晰地看到，LLaSO-Base 取得了 0.72 的最高分，位列第一 。這一成績顯著優于其他所有競爭模型，例如表現次之的 Kimi-Audio (0.65) 和 Qwen2-Audio (0.57) 。這一結果強有力地證明了 LLaSO-Base 的綜合實力。研究發現，像 LLaSO-Base 這樣在更多樣化的任務上進行訓練的模型，其綜合性能遠超那些主要針對 AQA 等少數任務進行優化的模型（如 Llama-Omni 和 Mini-Omni）。這凸顯了我們所提倡的廣泛任務覆蓋訓練策略的有效性。

詳細任務性能分析

圖七： 深入比較了各模型在語言學 (ASR) 和語義 (AQA) 任務上的具體表現 。

• 在 ASR 任務上，LLaSO-Base 展現了壓倒性優勢。其 WER 和 CER 分別低至 0.08 和 0.03，是所有模型中最低的，這意味著它擁有最精準的語音轉錄能力 。相比之下，即便是 Kimi-Audio (WER 0.14) 和 Typhoon-Audio (WER 0.11) 等強勁對手，也存在明顯差距 。
• 在 AQA 任務上，競爭十分激烈。Kimi-Audio 在標準 “文本指令 + 音頻輸入” 模態下表現突出，獲得了 3.35 的高分 。LLaSO-Base 在此項上得分 2.58，表現穩健 。但值得注意的是，在更具挑戰性的 “音頻指令 + 文本輸入” 模態下，

LLaSO-Base 的得分 (2.70) 展現了更強的模態適應性，超過了多數模型。

圖八：呈現了在 18 個細分的副語言學任務上的對比結果，這是對模型能否理解 “弦外之音” 的終極考驗。

在這些更復雜的任務上，LLaSO-Base 幾乎在所有任務上都取得了頂尖或接近頂尖的成績。

• 以說話人為中心的任務：在說話人性別識別 (SGC) 和口音分類 (AC) 任務上，LLaSO-Base 的準確率名列前茅，展現了對說話人特征的敏銳洞察力 。
• 以內容為中心的任務：LLaSO-Base 的優勢更為顯著。在音素識別 (PR) 任務中，其 PER 僅為 0.03；在語音命令識別 (SCR) 任務中，WER/CER 低至 0.04/0.02 。這兩項指標均以數量級的優勢領先于所有其他模型，展示了其在精細語音內容分析上的卓越能力。
• 指令遵循能力：更重要的是，LLaSO-Base 在這些任務中的拒絕回答率極低。相比之下，Llama-Omni 和 Mini-Omni 等模型在許多副語言學任務上直接選擇 “拒絕回答”（表格中標記為 "Reject"），這表明它們缺乏處理此類任務的能力。LLaSO-Base 的穩定響應證明了其強大的指令遵循能力和任務泛化性。

模態泛化與任務覆蓋度分析

圖九：模型在不同輸入模態下的性能穩定性

• 模態泛化能力 (Figure 9): 該圖分析了模型在不同輸入模態（純音頻、文本 + 音頻、音頻 + 文本）下的性能穩定性。結果顯示，大多數模型在切換到不熟悉的模態時性能會下降。雖然 LLaSO-Base 也存在性能波動，但其在標準模態下的峰值性能遠高于其他模型，這是其總體得分領先的關鍵。同時，研究也發現，采用 “交錯或并行解碼” 策略的模型（如 Mini-Omni、GLM-4-Voice）通常表現出更好的穩定性。

圖十：模型訓練正相關關系

• 任務覆蓋度的重要性 (Figure 10): 該圖清晰地揭示了模型訓練任務數量與其性能和拒絕回答率之間的正相關關系。

LLaSO-Base 經過 20 個任務的訓練，其總體性能和指令遵循能力（低拒絕回答率）均處于領先地位 。而那些訓練任務較少的模型，性能普遍偏低，且更容易 “拒絕” 回答，這進一步驗證了 LLaSO 框架設計理念的正確性與前瞻性。

開源策略的技術價值與社區影響

對學術研究的推動作用

1. 可復現性保障：完整開放的訓練數據和代碼實現

2. 公平比較基礎：統一評估基準消除 evaluation bias

3. 研究門檻降低：研究者可專注于算法創新而非數據收集

4. 技術積累加速：基于統一框架的增量改進更易實現

對工業應用的促進效應

1. 開發成本降低：相比私有數據方案節省數千萬數據構建成本

2. 技術風險可控：開源方案的透明性降低技術選型風險

3. 定制化便利：開放架構支持針對性的領域 adaptation

4. 生態建設基礎：為 LSLM 生態標準化提供參考實現

技術局限與未來方向

當前局限性

1. 模型規模：38 億參數相比 GPT-4 級別模型仍有性能 gap

2. 多語言支持：主要針對英文和中文，其他語言覆蓋有限

3. 實時性能：大模型推理延遲對實時應用仍有挑戰

4. 長音頻處理：對超長音頻序列的處理效率有待優化

發展方向

1. 模型 scaling：探索更大規模模型的性能上限

2. 效率優化：模型壓縮、量化等技術降低部署門檻

3. 多模態擴展：集成視覺信息實現 Audio-Visual-Language understanding

4. 領域適應：針對醫療、教育、客服等垂直領域的專用優化

結論

LLaSO 作為全球首個完全開源的 LSLM 研究框架，通過提供大規模數據、統一基準和參考實現，為語音語言模型研究建立了透明、可復現的技術基礎設施。其開源策略不僅降低了研究門檻，更重要的是為 LSLM 領域建立了統一的技術標準，有望推動該領域從 "各自為戰" 向 "協同創新" 轉變。

隨著框架的廣泛采用和社區貢獻，LLaSO 有望成為 LSLM 研究的 "ImageNet 時刻"，為構建真正理解人類語音 nuance 的 AI 系統奠定堅實基礎。