自ChatGPT API開放后，大量的研究都選擇利用ChatGPT和GPT-4等大型基礎模型（LFM）的輸出作為訓練數據，然后通過模仿學習來提升小模型的能力。

但由于模仿信號流于表面、訓練數據量不夠大、缺乏嚴格的評估標準等問題，小模型的實際性能被高估了。

從效果上來看，小模型更傾向于模仿LFM的輸出風格，而非推理過程。

論文鏈接：https://arxiv.org/pdf/2306.02707.pdf

為了應對這些挑戰，微軟最近發布了一篇長達51頁論文，提出了一個130億參數的Orca模型，可以學習模仿LFMs的推理過程。

研究人員為大模型設計了豐富的訓練信號，使得Orca可以從GPT-4中學習到解釋痕跡、逐步的思維過程、復雜的指令等，并由ChatGPT的教師協助指導；并通過采樣和選擇來挖掘大規模且多樣化的模仿數據，可以進一步提升漸進式學習效果。

在實驗評估中，Orca超過了其他SOTA指令微調模型，在BigBench Hard（BBH）等復雜的零樣本推理基準中實現了比Vicuna-13B翻倍的性能表現，在AGIEval上也實現了42%的性能提升。

此外，Orca在BBH基準上還實現了與ChatGPT持平的性能，在SAT、LSAT、GRE和GMAT等專業和學術考試中只有4%的性能差距，并且都是在沒有思維鏈的零樣本設置下測量的。

研究結果表明，讓模型從分步解釋中學習，無論這些解釋是由人類還是更高級的人工智能模型產生的，都是提高模型能力和技能的一個有前景的研究方向。

解釋微調（Explanation Tuning）

數據集構造

在訓練數據中，每個實例都包括三部分，即系統消息、用戶查詢和LFM回復。

系統消息（system message）放置在提示中開頭的部分，提供給LFM基本的上下文、引導以及其他相關的細節。

系統消息可以用來改變回復的長度、描述AI助手的性格、建立可接受和不可接受的LFM行為，并確定AI模型的回復結構。

研究人員手工制作了16條系統信息來設計LFM不同類型的回復，可以生成創造性的內容以及解決信息查詢問題，最重要的是能夠根據提示生成解釋和逐步推理的答案。

用戶查詢（user query）定義了希望LFM執行的實際任務。

為了獲得大量的、多樣化的用戶查詢，研究人員利用FLAN-v2集合，從中抽取500萬個用戶查詢（FLAN-5M），并收集ChatGPT的回復；然后進一步從500萬條指令中抽出100萬條指令（FLAN-1M），收集GPT-4的回復。

FLAN-v2集合由五個子集合組成，即CoT、NiV2、T0、Flan 2021和Dialogue，其中每個子集包含多個任務，每個任務都是一個查詢的集合。

每個子集合都與多個學術數據集相關，并且每個數據集都有一個或多個任務，主要關注零樣本和少樣本的查詢。

在這項工作中，研究人員只取樣訓練Orca的零樣本查詢，并且沒有從Dialogue子集中取樣，因為這些查詢往往缺乏背景，無法從ChatGPT中獲得有用的回復。

讓ChatGPT扮演Teaching Assistant

首先在FLAN-5M數據上訓練Orca（ChatGPT增強），隨后在FLAN-1M上進行第二階段的訓練（GPT-4增強）。

將ChatGPT作為中間的教師助手主要有兩個原因：

1. 能力差距

雖然GPT-4的參數量沒有公開，但130億參數的Orca肯定比GPT-4要小很多倍，而ChatGPT和Orca之間的能力差距更小，更適合作為中間教師，并且這種方式已經被證明可以提高更小的學生模型在知識蒸餾中的模仿學習性能。

這種方式也可以看作是一種漸進式學習或課程學習，學生首先從較容易的例子中學習，然后再學習較難的例子，假定了較長的回復會比較短的回復更難模仿，可以從更大規模的教師模型中改進推理和逐步解釋能力。

2. 成本和時間

從Azure OpenAI API進行大規模數據收集時會受到一些限制，包括每分鐘請求的速率限制，防止流量過大；由于服務延遲問題，每分鐘可用的token數量有限；提示長度和token補全的金錢成本。

相比之下，ChatGPT API比GPT-4終端更快、更便宜，所以從ChatGPT上收集了比GPT-4多5倍的數據。

從ChatGPT和GPT-4對應于不同系統消息的回復長度分布中可以觀察到，GPT-4的回復平均比ChatGPT長1.5倍，使得Orca能夠逐步從教師解釋的復雜性中學習，并通過消融實驗證明了教師幫助的影響。

訓練

在分詞階段，研究人員利用LLaMA的字節對編碼（BPE）分詞器來處理輸入的樣本，其中多位數字會被分割成多個單數字，并回落到字節來分解未知的UTF-8字符。

為了處理可變長度的序列，在LLaMA分詞器的詞匯表中引入了一個填充詞[[PAD]]，最終的詞匯表包含32001個token

為了優化訓練過程并有效利用可用的計算資源，研究人員利用了packing技術，將多個輸入實例串聯成一個序列后再訓練模型。

在packing的過程中，串聯序列的總長度不超過max_len=2048 tokens，對輸入的樣本進行隨機打亂后將分成幾組，每組串聯序列的長度最多為max_len

考慮到訓練數據中增強指令的長度分布，每個序列的打包系數為2.7

為了訓練Orca，研究人員選擇只計算教師模型生成token的損失，也就是說學習生成以系統信息和任務指令為條件的回復，可以確保模型專注于從最相關和最有信息的token中學習，提高了訓練過程的整體效率和效果。

最后在20個裝有80GB內存的NVIDIA A100 GPU上訓練Orca，先在FLAN-5M（ChatGPT增強）上訓練4個epoch，花了160個小時；然后在FLAN-1M（GPT-4增強）上繼續訓練4個epoch

由于流量限制、終端負載以及回復的長度問題，從GPT-3.5-turbo（ChatGPT）和GPT-4的多個終端收集數據分別用了2周和3周的時間。

實驗部分

研究人員主要驗證了Orca在推理上的能力。

在AGIEval的實驗中可以看到，Orca的表現與Text-da-Vinci-003相當，并實現了ChatGPT 88%的性能表現，不過明顯落后于GPT-4

對于分析和推理任務，Vicuna的表現明顯更差，只保留了62%的ChatGPT質量，表明這種開源語言模型的推理能力很差。

雖然Orca與Text-da-Vinci-003的表現相當，但仍然比ChatGPT低5分，Orca在與數學有關的任務（在SAT、GRE、GMAT中）上與ChatGPT表現出較大的差距。

與Vicuna相比，Orca顯示出更強的性能，在每個類別上都超過了Vicuna，平均有42%的相對提高。

GPT-4的性能遠遠超過了所有其他模型，但在這個基準中仍有很大的提升空間，目前所有模型的性能都明顯低于人類的得分。

Orca的性能根據系統信息的類型有很大的不同，對于訓練的模型來說，空的系統消息往往效果很好。

Orca在不同任務的325個樣本中超越了ChatGPT（Orca-beats-ChatGPT例子），其中大部分來自LogiQA（29%），而其他LSAT任務和SAT-英語任務各占不到10%

在Big-Bench Hard Results數據集上的推理評估結果顯示，Orca在所有任務中的綜合表現上略好于ChatGPT，但明顯落后于GPT-4；比Vicuna性能高出113%