從智能對話到圖像生成，從文本創作到數據分析，大模型的應用場景無處不在。然而，對于初入大模型領域的小白來說，面對眾多的專業術語和復雜的概念，可能會感到無從下手。別擔心，本文為你整理了大模型基礎知識點近100個名詞解釋，助你輕松開啟大模型的學習之旅！

一、模型架構與基礎概念

1. LLM（大語言模型，Large Language Model）

基于海量文本數據訓練的深度學習模型，如GPT系列、BERT等，能夠理解和生成自然語言文本，完成復雜對話、文本創作等任務。想象一下，你和一個學識淵博的智者對話，他能理解你的問題并給出精彩的回答，LLM就是這樣的存在。

2. AGI（通用人工智能，Artificial General Intelligence）

這是AI研究的終極目標，追求創造能像人類一樣學習新技能、解決廣泛問題的智能體。目前仍處于理論探索和初步實踐階段，就像科幻電影中那些無所不能的機器人，AGI一旦實現，將開啟智能新時代。

3. AIGC（人工智能生成內容，Artificial Intelligence Generated Content）

利用AI技術生成的各種內容，從文本、圖像到視頻，涵蓋范圍極廣。比如AI藝術畫作、定制文章、虛擬角色等，AIGC正在成為創意產業的新寵，為人們帶來新穎、個性化的體驗。

4. Prompt（提示詞）

在AI大模型中用于引導模型生成特定類型輸出的上下文信息或指令。例如，你讓模型“寫一篇科幻故事”，這個指令就是提示詞，它能告訴模型你想要什么內容。

5. 提示工程（Prompt Engineering）

設計和優化輸入提示以獲得所需模型輸出的過程。這就像給AI模型出難題，通過精心設計的提示，讓模型給出更準確、更有創意或符合特定風格的答案，是提高AI大模型響應質量的關鍵策略。

6. 多模態（Multimodal）

文本、圖像、音頻等都是一種模態，多模態指能夠處理多種類型數據的模型。比如，一個既能看懂圖片又能理解文字的智能助手，能綜合分析多種信息，為用戶提供更全面的服務。

7. 推理（Inference）

大模型的推理是指使用已經訓練好的模型進行實際應用，生成預測或輸出結果的過程。比如，你問模型問題，它給出答案；你給它文本描述，它生成圖片，這就是推理在發揮作用。

8. 涌現（Emergence）

系統中新的性質、模式或行為在更簡單的組件相互作用下自發形成的現象。就像一群螞蟻通過簡單的個體行為，能形成復雜的蟻巢結構，大模型中也會出現這種涌現現象，產生意想不到的能力。

9. 對齊

AI價值對齊是指讓大模型的能力和行為跟人類的價值、真實意圖和倫理原則相一致。簡單來說，就是讓AI模型的行為符合人類的道德和價值觀，確保人機協作的安全與信任。

10. Token

通常指的是文本或數據中的一個基本單元或符號，在自然語言處理中，單詞是最常見的token。例如，“你好，世界！”會被分解為“你”“好”“，”“世界”和“！”這樣的token，便于機器理解和處理。

11. 智能體（Agent）

在環境中感知、思考并采取行動的自主AI系統。比如，一個智能機器人在工廠中自主導航、搬運貨物，它就是一個智能體。

12. 世界模型

AI系統內部構建的對現實世界的抽象認知模型，用于預測、規劃和決策。就像人類大腦對世界的理解一樣，世界模型幫助AI系統更好地適應和應對復雜環境。

13. Scaling Law

機器學習中，模型性能隨其規模增大（如參數數量、數據量）而提高的現象。這意味著，模型越大，數據越多，性能往往越好，但也要考慮資源和成本的平衡。

14. 大模型幻覺

大型語言模型生成的內容看似合理但實際上不準確或虛構的信息。這是因為模型只是基于概率生成下一個詞語，并不具備真正的理解能力，所以有時會出現“一本正經地胡說八道”的情況。

15. Copilot

AI輔助工具的代名詞，例如Github Copilot能輔助程序員編程，Office Copilot能輔助編寫文檔、制作PPT等。它們就像程序員和辦公人員的智能助手，大大提高工作效率。

16. 具身智能

擁有物理實體的智能體（如機器人），通過與環境的互動學習和適應。比如，波士頓動力的機器狗，它能在復雜環境中行走、奔跑、避障，展現出接近生物體的智能表現。

二、訓練方法與技術

訓練數據集

大模型訓練所需的大規模數據集，包含了各種語言樣本，用于模型的學習、驗證和測試其性能。它就像一本“學習秘籍”，為模型提供了豐富的學習材料。

參數量

模型中可調節的數值，用于調整神經網絡的行為。參數量越多，模型的表達能力越強，但同時也需要更多的數據和計算資源來訓練。

深度學習

一種基于多層神經網絡的機器學習方法，特別適合處理大規模數據。它能自動提取數據中的復雜特征，減少手工設計特征的需求，是大模型訓練的核心技術之一。

預訓練（Pre - training）

在大規模無標注數據上訓練模型，學習通用的語言規律。這相當于讓模型先進行“通識教育”，掌握基本的語言知識和技能。

微調（Fine - tuning）

在預訓練模型基礎上，用特定領域的小規模數據進一步訓練。這就好比讓一個已經接受過通識教育的學生，再進行專業領域的深入學習，使其在特定任務上表現更好。

監督微調（Supervised Fine - Tuning，SFT）

使用標注好的數據集對模型進行進一步訓練，使其在特定任務上表現更好。標注數據就像給模型提供了明確的答案，幫助它更好地理解和學習。

少樣本學習（Few - shot Learning）

在只有少量標注數據的情況下訓練模型，使其能夠快速適應新任務。這體現了模型的學習效率和泛化能力，即使只有少量樣本，也能快速掌握新任務的規律。

超參數調優（Hyperparameter Tuning）

對模型的超參數進行優化，以提高模型性能。超參數就像是模型訓練的“調節旋鈕”，通過調整它們，可以找到最適合模型的訓練參數，提升性能。

零樣本學習（Zero - shot Learning）

模型在沒有見過特定類別的數據的情況下進行推理。這要求模型具備很強的泛化能力和知識遷移能力，能夠根據已有的知識對未見過的類別進行推理和判斷。

對抗訓練（Adversarial Training）

通過生成對抗樣本來訓練模型，增強其魯棒性。對抗樣本就像是給模型設置的“難題”，通過訓練模型識別和應對這些難題，使其在面對各種復雜情況時更加穩定和可靠。

Scaling Law（縮放定律）

描述模型性能如何隨著模型規模（如參數數量）、數據集大小和計算資源的增加而變化的規律。它為模型的設計和訓練提供了重要的指導，幫助我們更好地理解模型性能與資源投入之間的關系。

自監督學習（Self - Supervised Learning）

通過輸入數據本身的部分信息來生成標簽。這種方法不需要額外的標注數據，充分利用了數據本身的結構和信息，是一種高效的學習方式。

人類反饋的強化學習（Reinforcement Learning from Human Feedback，RLHF）

通過人類反饋優化模型輸出，使其更符合人類價值觀。人類的反饋就像是給模型的“導航”，引導它朝著更符合人類期望的方向發展。

遷移學習（Transfer Learning）

將一個領域的知識遷移到另一個領域以改進學習效率和效果的方法。這就像把在數學中學到的邏輯思維能力應用到物理學習中，提高學習效率和效果。

梯度下降（Gradient Descent）

一種優化算法，通過最小化損失函數來更新模型參數，以改進模型性能。它是模型訓練中最常用的優化方法之一，通過不斷調整參數，使模型逐漸逼近最優解。

批量大小（Batch Size）

在訓練神經網絡時，一次迭代中使用的樣本數量。它影響模型訓練的速度和穩定性，批量大小越大，訓練速度越快，但對內存的要求也越高。

元學習（Meta - learning）

也稱為“學習如何學習”，通過從多個相關任務中學習來提高新任務的學習效率。這就像一個經驗豐富的學習者，能夠快速掌握新的知識和技能，適應不同的學習任務。

學習率（Learning Rate）

控制梯度下降步驟大小的超參數，對模型訓練速度和最終性能有重要影響。學習率過大可能導致模型訓練不穩定，過小則會使訓練速度過慢，需要仔細調整。

早停法（Early Stopping）

一種防止過擬合的技術，在驗證集上的性能不再提高時停止訓練。這可以避免模型在訓練集上過度擬合，提高模型的泛化能力。

數據增強（Data Augmentation）

通過對訓練數據進行變換（如旋轉、縮放等），生成更多樣化的訓練樣本，以增加模型的泛化能力。這種方法在圖像處理領域尤其常見，通過數據增強，模型能夠更好地應對各種變化。

聯合學習（Federated Learning）

是一種分布式機器學習方法，允許多個參與者在不共享原始數據的情況下共同訓練模型。這種方法特別適用于隱私保護和數據安全要求較高的場景，如醫療、金融和移動設備等領域。

三、模型優化與壓縮

知識蒸餾（Knowledge Distillation）

一種技術，通過訓練一個小模型（學生模型）來模仿大模型（教師模型）的行為，以減少計算復雜度和資源消耗。這不僅限于大小模型之間的轉換，也可以用于模型間的知識遷移。

量化（Quantization）

將模型的參數和激活值映射到較低的位數（如從32位浮點數降至8位整數），以減少模型的存儲需求和計算復雜度。這有助于降低內存占用并加速推理過程。

模型壓縮（Model Compression）

通過一系列技術手段，如知識蒸餾、量化、剪枝等，減少模型的參數量和計算量，使其能夠在資源有限的設備上高效運行。

剪枝（Pruning）

去除神經網絡中冗余的權重或神經元，包括非結構化剪枝（逐個權重）和結構化剪枝（如整個通道、濾波器或層），以達到壓縮模型的目的，簡化模型結構，便于硬件實現。

稀疏激活（Sparse Activation）

采用特定類型的激活函數（如ReLU變體）或通過結構化稀疏訓練，使得神經網絡的激活函數在大部分情況下輸出零值，從而減少計算量和存儲需求。

低秩分解（Low - Rank Factorization）

通過近似高維矩陣為兩個或多個低維矩陣的乘積來減少模型參數量的技術，這種方法可以有效降低計算成本和存儲需求。

權重共享（Weight Sharing）

是卷積神經網絡（CNN）中的一個核心概念，主要目的是減少模型的參數數量，提高計算效率和泛化能力。在卷積層中，卷積核（Filter）在輸入圖像的每個位置上使用相同的權重參數進行卷積操作。

四、計算與性能優化

混合精度訓練（Mixed - Precision Training）

通過結合使用16位和32位浮點數來加速深度學習模型的訓練過程，同時減少內存占用。這不僅提高了計算效率，還允許在相同的硬件上訓練更大規模的模型。

批處理（Batching）

一次性處理多個樣本以提高計算效率的技術，通過充分利用現代硬件（如GPU）的并行處理能力，顯著加快訓練速度。

硬件加速（Hardware Acceleration）

利用專門設計用于加速特定類型計算任務的硬件（如GPU、TPU）來加速模型的訓練和推理過程，提供比通用CPU更高的計算能力和效率。

并行計算（Parallel Computing）

將計算任務拆分成多個子任務并在多個處理器或核心上同時執行，以加快處理速度，對于縮短大型模型的訓練時間和提升推理效率至關重要。

自適應計算（Adaptive Computation）

根據任務需求動態調整計算資源的分配，以優化性能或能效比。例如，在神經網絡中，某些層可能需要更高的計算能力，而其他層則不需要。

分布式訓練（Distributed Training）

通過在網絡中的多臺機器之間分配訓練任務來加速訓練過程，特別適用于處理極其龐大的數據集和模型參數。

內存優化（Memory Optimization）

采用各種技術減少訓練過程中所需的內存消耗，使得可以在有限的硬件資源上訓練更大的模型，如梯度累積和檢查點機制等。

五、推理與應用

推理（Inference）

模型在訓練完成后，利用學到的知識根據輸入數據預測輸出結果，用于解決實際問題或做出決策。

深度強化學習（Deep Reinforcement Learning）

結合深度學習和強化學習的方法，使代理能夠在復雜環境中通過試錯學習最優策略，廣泛應用于游戲、機器人控制等領域。

模型融合（Model Ensembling）

將多個模型的預測結果組合起來以提高總體性能，通過結合不同模型的優勢來提升預測準確性。

多模態學習（Multimodal Learning）

訓練能夠處理多種輸入形式（如文本、圖像、語音等）的模型，使得模型能夠理解和處理來自不同信息源的數據。

遷移學習（Transfer Learning）

一種技術，通過將在一個領域或任務上學到的知識應用到另一個領域或任務上，以改進學習效率和效果。這種方法特別適用于目標領域數據稀缺的情況，通過利用源領域的豐富知識來加速學習過程并提高模型性能。

上下文窗口（Context Window）

模型在處理輸入數據時能夠“看到”的上下文范圍，對于捕捉序列數據中的依賴關系至關重要。

在線學習（Online Learning）

模型能夠實時更新其參數以適應不斷變化的數據環境，特別適用于數據流持續到達的應用場景，如推薦系統和金融市場分析。

六、數據與標簽

數據清洗（Data Cleaning）

是一個關鍵步驟，用于改善數據的質量和可靠性，確保數據的準確性、一致性和完整性。通過識別和糾正數據中的錯誤、缺失值、異常值和重復值，數據清洗顯著提高數據的準確性和完整性。

特征工程（Feature Engineering）

從原始數據中提取有用的特征，以便更好地訓練機器學習模型。這包括特征選擇、特征創建和轉換等過程。

數據標注（Data Annotation）

為訓練監督學習模型而對數據進行標記的過程，涉及將類別標簽或其他注釋附加到數據點上。

合成數據（Synthetic Data）

通過算法生成的人工數據，用于補充或替代真實世界的數據。合成數據可以在數據稀缺、敏感或難以收集的情況下提供幫助，尤其是在需要保護隱私的環境中。

數據增強（Data Augmentation）

通過生成新的訓練樣本來增加訓練數據的多樣性，如圖像旋轉、縮放等，以提高模型的泛化能力和魯棒性。

硬標簽（Hard Labels）

指的是明確的分類標簽，通常是單熱編碼（one - hot encoding）形式，表示樣本屬于某一特定類別。

軟標簽（Soft Labels）

不同于硬標簽的確定性分類，軟標簽提供了教師模型預測的概率分布，反映了每個類別的可能性。這種方法可以傳遞更多的信息，例如在知識蒸餾中，使用軟標簽可以幫助學生模型更好地學習教師模型的知識。

七、模型評估與調試

對抗樣本（Adversarial Examples）

是通過算法在原始輸入中添加人眼難以察覺的微小擾動所形成的新樣本，以該樣本作為模型的輸入，會使得模型以高置信度將其分類錯誤。對抗樣本可對機器學習模型產生攻擊效果，但目前對抗樣本在深度學習領域中的研究較為廣泛。

局部搜索（Local Search）

一種優化算法，通過在解空間中尋找局部最優解，并試圖從局部最優解出發找到全局最優解。盡管不是直接與模型評估相關，但在某些情況下可用于優化模型參數。

模型的可擴展性（Scalability）

可擴展性是指系統處理不斷增長的用戶、數據、并發、業務的能力或其適應業務、數據增長的潛力。當請求負載或用戶數據增加時，能夠保持甚至提高其性能、效率和可靠性的系統具有良好的可擴展性。可擴展性對于確保系統能夠處理增加的用戶流量、數據量或計算需求，而不會顯著降低性能或需要完全重新設計至關重要。

可解釋性（Explainability）

指的是模型決策過程的透明度和可理解性，即能夠清楚地解釋模型為什么做出特定預測的能力。這對于確保模型的公平性、避免偏見以及增強用戶信任至關重要。

模型的魯棒性（Robustness）

模型在面對噪聲、對抗攻擊或數據分布偏移時保持穩定性和準確性的能力。一個魯棒性強的模型能夠在各種條件下保持良好的性能。

精確率、召回率和F1分數（Precision, Recall, F1 Score）

精確率是指預測為正類的樣本中有多少是真正正確的；召回率是指所有實際為正類的樣本中有多少被正確識別出來；F1分數則是精確率和召回率的調和平均數，提供了一個單一的指標來評價模型性能。

模型的泛化能力（Generalization）

模型在未見過的新數據上表現良好的能力，是衡量模型是否過擬合的重要指標。良好的泛化能力意味著模型不僅能在訓練數據上表現良好，在新數據上也能有出色的表現。

交叉驗證（Cross - validation）

一種統計方法，通過將數據集劃分為幾個子集并循環使用這些子集進行訓練和測試來評估模型性能。這種方法有助于更準確地估計模型的泛化能力，并減少因數據劃分不同而導致的結果波動。

混淆矩陣（Confusion Matrix）

用于描述分類模型性能的一種表格，顯示了每個類別的實際值與預測值之間的對比情況，提供了關于分類器誤差類型的詳細信息。

AUC - ROC曲線（Area Under the Curve - Receiver Operating Characteristic Curve）

用于評估二分類模型性能的一個圖形工具，展示了模型區分正負類的能力。AUC值越接近于1，表示模型的分類效果越好。

模型校準（Model Calibration）

確保模型預測的概率反映了真實發生的概率的過程。良好的校準對于需要概率估計的任務非常重要。

偏差 - 方差權衡（Bias - Variance Tradeoff）

描述了模型復雜度與誤差之間的關系。高偏差通常意味著模型過于簡單而欠擬合，高方差則意味著模型過于復雜而過擬合。

八、倫理與公平性

模型的倫理和偏見（Ethics and Bias）

指模型在訓練和應用過程中可能存在的倫理問題和偏見。這些問題包括但不限于性別、種族、年齡等方面的歧視性偏差，以及隱私保護、數據使用合法性等倫理考量。解決這些問題對于構建公平、透明和負責任的人工智能系統至關重要。

問責制（Accountability）

指確定誰對AI系統的決策負責的過程。這涉及到法律、倫理和技術層面的問題，確保當模型出現錯誤或造成傷害時，有明確的責任人或機制來處理。

透明度（Transparency）

指模型決策過程對用戶的公開程度，以及用戶理解模型工作原理的能力。高透明度有助于建立信任，并允許用戶了解模型是如何做出決策的，這對于識別和糾正潛在的偏見和不公平現象非常重要。

公平性（Fairness）

指機器學習模型在不同群體之間的表現是否公正。評估模型的公平性通常涉及檢查是否存在對某些群體不利的偏見，并采取措施減輕這種偏見，以確保所有用戶都能得到公平對待。

本文轉載自???智駐未來??????，作者：小智