該工作由字節(jié)跳動 ByteBrain 團隊 × 清華大學合作完成。第一作者為清華大學三年級博士生謝哲，主要研究方向為時序多模態(tài) LLM、異常檢測和根因定位。第二作者和第三作者分別為李則言和何曉，均來自字節(jié)跳動。通訊作者分別為字節(jié)跳動研究科學家張鐵贏和清華大學計算機系副教授裴丹。

近年來，多模態(tài)大語言模型（MLLM）發(fā)展迅速，并在圖像、視頻、音頻等領域取得了突破性成果。然而，相較于這些研究較為成熟的模態(tài)，時間序列這一類型的數據與大模型結合的系統(tǒng)研究卻較為匱乏。

盡管已經有 TimeLLM 等工作嘗試將 LLM 應用于時序任務，但這些研究大多局限于預測類任務，無法滿足更復雜的理解與推理需求。隨著 LLM 在 AIOps、金融等需要處理時序數據的應用場景中應用愈發(fā)廣泛，時序問答、推理的能力已成為多模態(tài)智能系統(tǒng)的一項基礎能力需求。

為此，我們提出了 ChatTS，一種原生支持多變量時序問答與推理的多模態(tài) LLM。ChatTS 引來了 HuggingFace 產品負責人 Victor Mustar，以及 SparkNLP 項目負責人 Maziyar Panahi 等人的轉發(fā)和點贊：

ChatTS 論文已經成功入選數據庫頂級會議 VLDB 2025。

• 論文標題：ChatTS: Aligning Time Series with LLMs via Synthetic Data for Enhanced Understanding and Reasoning
• 論文 arXiv 鏈接：https://arxiv.org/pdf/2412.03104
  
• ChatTS 代碼和數據集：https://github.com/NetmanAIOps/ChatTS
• 模型參數：https://huggingface.co/bytedance-research/ChatTS-14B

什么是時序問答任務

傳統(tǒng)的時間序列分析方法多基于統(tǒng)計模型或 AI 模型，而這些方法通常需要大量任務特定的訓練、特定的數據預處理和結構化的輸入輸出，缺乏通用性和可解釋性。而 LLM 的強語言建模能力和泛化推理能力，為「用自然語言理解時間序列」提供了可能。

然而，目前主流的 LLM 并不能直接處理原始的時間序列數組數據，現有工作要么將時間序列轉成文本、圖像輸入，要么依賴 agent 工具進行間接分析，但都存在不同程度的限制。

因此，我們思考，是否可以構建一種「時間序列原生」的多模態(tài) LLM，使其像處理圖像一樣，能夠原生地理解時間序列的形狀、波動與語義含義，并進行進一步的問答和推理？

構建時間序列多模態(tài)大模型面臨諸多挑戰(zhàn)

• 數據稀缺。與圖文、語音等領域不同，時間序列+文本的對齊數據非常有限。
  
• 時間序列具有高度結構性。時序包含豐富的趨勢、周期、局部波動、噪聲等形態(tài)特征。
• 時間序列輸入往往是多變量、不同長度的。變量之間的關系極具分析價值，但也加大了理解難度。
  
• 現有的評估基準未覆蓋時間序列多模態(tài)建模任務，這也為訓練和評估增加了難度。

現有方法

我們將現有嘗試將 LLM 應用于時間序列的方式歸為三類：文本化方法、圖像化方法與 agent 方法。

• 文本化（Text-Based）方法最為直接，即將時間序列值編碼成長文本輸入 LLM。其可能存在顯著的上下文長度限制，且無法處理多變量場景。
  
• 圖像化（Vision-Based）方法借助可視化圖像輸入視覺大模型，但面臨圖像細節(jié)丟失的問題。
  
• Agent 方法（Agent-Based）利用 LLM 調用工具獲取特征，但該方式嚴重依賴工具準確性、推理鏈條極長且容易出現幻覺。

ChatTS: 基于合成數據訓練的時序多模態(tài) LLM

面對時間序列與語言對齊數據的極度匱乏問題，我們從根本上摒棄了依賴真實數據標注的路徑，而是選擇「純合成驅動」的方式，設計出一個端到端的數據生成、模型訓練框架。

1.屬性驅動（Attribute-Based）的時間序列生成

我們定義了一套詳細的時間序列屬性體系，這些屬性具有明確的語義與參數，構成了「屬性池」。每個時間序列由若干屬性組合生成，并對應一段高質量自然語言描述。這種組合方式不僅確保了生成時間序列的多樣性與真實性，還能精確對應語言文本的細節(jié)表達，避免了傳統(tǒng)「圖文描述不符」的問題。

2.Time Series Evol-Instruct

僅有靜態(tài)屬性描述還不夠，我們還需訓練模型掌握復雜的提問、比較與推理能力。我們提出 TSEvol，該方法以一組基礎 Q&A 為種子，依托已有 attribute pools，不斷演化出多種新問題形式，優(yōu)化復雜推理場景下的模型能力。

3.原生多模態(tài)模型設計

模型結構方面，我們基于 Qwen2.5-14B-Instruct，設計了一個時間序列原生感知的輸入結構。時間序列被切分為小 patch，并用輕量級 MLP 編碼，嵌入到原始文本上下文中。

與之配套，我們設計了「數值保值歸一化機制」?？紤]到原始數值在實際業(yè)務中非常重要（如最大 CPU 使用率），我們在對序列進行 0-1 歸一化時，同時將歸一化參數以文本形式保留進 prompt，使模型既能學習序列形態(tài)，又不丟失絕對數值的意義。

ChatTS 案例展示

我們做了幾個基于真實時間序列的 Case Studies。可以發(fā)現，ChatTS 不僅能對多變量時序的形態(tài)進行分析，還能輸出時序中波動區(qū)間的位置與幅度。ChatTS 還能夠對沒有見過的時序波動模式進行識別，并基于自己的理解給它「起名字」。

此外，ChatTS 的使用場景非常靈活，無需精確的 prompt 輸入也能準確響應。例如，我們讓它分析時序中的所有「事件」，ChatTS 準確地 get 到了我們的意思，并自動提取出時序中的所有的異常波動。此外，ChatTS 還能實際應用結合，例如結合專家知識，對故障去進行初步的診斷和分析。

評估體系

我們一共收集了 3 個數據集用于評估，包含了 real-world 與合成的時序數據，評測集覆蓋了對齊任務與推理任務兩大類，共 12 子類的問題類型，以全面評估對比模型性能。

1.對齊任務評估：全方位精準識別時間序列屬性

我們將 ChatTS 模型與基于 Text、Vision 和 Agent 的模型進行對比。結果顯示，ChatTS 在所有指標上均大幅超越 GPT-4o 及其他基線方法，分類任務 F1 提升 46%–75%，數值任務相對準確率提升超過 80%。

在多變量任務上，ChatTS 優(yōu)勢更為顯著：ChatTS 能一次性感知多個變量間的變化趨勢與關系，且 token 成本極低，顯示出極強的實用性與高效性。

2.推理任務評估：從歸納到因果，全面提升時序理解深度

推理任務包括四類：歸納、演繹、因果、比較。實驗結果顯示，ChatTS 在所有推理任務上均優(yōu)于基線，平均提升 25.8%。

思考與展望

ChatTS 展示了一個全新的范式：通過可控合成數據，訓練具備真實理解能力的多模態(tài)大模型。我們從零出發(fā)，僅使用合成數據訓練出了一個在真實任務中表現優(yōu)異的模型，這說明「數據生成 + 模態(tài)對齊」的范式具備高度潛力。

當前，ChatTS 聚焦在時序分析的理解與推理任務，未來我們可以拓展其能力至更高階任務（例如因果推理、根因分析），甚至結合外部知識庫、專家規(guī)則，實現更強的決策支持能力。