GPT2（XL）有15億個參數，使用16位精度，一個參數占用2個字節的內存，因此這些參數大約占用3GB的內存。按照如下超參數設置：優化器→Adam批量大小→32變換層數量→48序列長度→1000要想在單個GPU上訓練GPT2，所需的最小內存大概是多少？答案可能會嚇到你。在一個擁有32GB內存的單個GPU上，幾乎無法訓練一個3GB的GPT2模型。但這怎么可能呢？內存都去哪了？讓我們來了解一下。模型在訓練過程中有很多方面會持續占用內存。1)優化器...

盡管在本地（通過驗證集和測試集）對機器學習模型進行了嚴格測試，但立即用新模型替換舊模型仍不是一個好想法。一種更可靠的策略是在生產環境中測試模型（基于真實的實時數據）。雖然這聽起來有些冒險，但現實中經常這么做，而且并不復雜。下圖展示了四種常見策略：●當前模型稱為“舊模型”（legacymodel）。●新模型稱為“候選模型”（candidatemodel）。1）AB測試●將傳入的請求不均勻地分配給舊模型和候選模型。●故意限制...

如果數據是無標簽的，我們很難構建一個監督學習系統。使用無監督技術是一種可行的解決方案，但它們能完成的任務類型有限。另一種可能的方法，是依賴自監督學習。自監督學習是指我們有一個無標簽的數據集，但我們通過某種方式能夠從中構建一個監督學習模型。這通常依賴于任務的固有屬性。例如，ChatGPT自回歸地基于當前詞預測下一個單詞。這樣我們就可以簡單地將文本左移一位在海量文本上構造訓練數據集。輸入："Thecatsaton"標...

在線性回歸中，通常使用均方誤差作為損失函數。但你知道為什么用它嗎？要知道，很多函數都能衡量預測值和真實值之間的不同，在所有候選者中，均方誤差有什么特殊之處嗎？據我所知，很多人都會回答：1.均方誤差是可微的，所以才作為損失函數。>錯2.與絕對誤差相比，均方誤差對大的誤差懲罰更多>錯很遺憾，上述回答都是錯的。也許從概率視角出發，可以幫助我們更好理解，為什么均方誤差更合適。在線性回歸中，通過輸入X預測目標變...

我們常說機器學習三大件：模型、損失函數、優化算法。模型：線性回歸、邏輯回歸、SVM、CNN、RNN、LSTM、Transformer等等。損失函數：均方誤差、交叉熵、對比損失。優化算法：梯度下降、Adam、RMSProp、牛頓法等等。其中損失函數通過衡量模型預測值和真實值之間的距離來評估模型的好壞，并將結果反饋給優化算法來調整模型參數，以此來最小化損失函數。常見的距離衡量包括：歐氏距離、曼哈頓距離、余弦相似度、KL散度等。均方誤差...

考慮下面這個連續概率分布的概率密度函數，它表示的是從A點到B點可能花費的時間。這是一個連續隨機變量t取值區間為[1,5]的均勻分布，其概率密度函數可以表示成下面形式。那么，問題來了！Q）他從A點到達B點花費3分鐘的概率P(T3)是多少？哇哦！上述答案都是錯的，正確答案是：0。有的人可能會立馬抗議，并表示為什么在擲色子中每個點的概率就是16呢？因為擲色子實驗結果是離散的，離散隨機變量的概率分布稱為概率質量函數（PMF）...

構建模型通常是一個迭代過程，給定數據集：訓練模型評估模型改進，直到滿意為止你的改進策略不一定徒勞無功！如何評估模型是否進步了呢？通常會使用某些性能指標來評估改進策略的有效性。然而，在多分類問題中，當使用“Accuracy”指標評估改進策略有效性時，通常帶有欺騙性。換句話，某些改進策略其實已經提升模型性能了，但通過“Accuracy”這個指標沒有反映出來。“Accuracy”陷阱這里的“Accuracy”其實應該是“Top1Accurac...

前面圖解了Transformer整體架構和編碼器，今天圖解解碼器。先來個整體視角：再逐步分解開來：WHAT'STHEDECODER解碼器是將編碼輸入和先前生成的標記轉換為上下文感知輸出的關鍵所在。可以把它想象成藝術家，從草圖中繪制出最終的畫作。???STEP1PROCESSINGTHETARGETSEQUENCESTEP1.1TargetSequenceEmbedding解碼器首先對需要處理的序列進行嵌入，將原始數據轉換為其能夠理解的格式。STEP1.2PositionalEncoding由于Transformers不...

前面圖解了Transformer整體架構，今天圖解編碼器。先來個整體視角：再逐步分解開來：????????'??????????????????????編碼器負責通過自注意力機制和前饋層處理輸入的token，從而生成具有上下文感知的表示。??它是NLP模型中理解序列的核心動力。????????1.1:??????????????????????????????編碼器的第一步是將每個輸入的單詞嵌入為一個大小為512的向量。??這種嵌入過程只發生在最底層的編碼器中。可以把它想象成把單詞翻譯成模...

前面我們圖解了簡單線性回歸，也就是只有一個自變量，今天我們來看看自變量有多個的情況，也就是多重線性回歸。先來個整體視角：再逐步分解開來：????????????????????????????????????我們用體重作為因變量，身高作為自變量，并假設它們之間有某種線性關系。??????????????????????????????????????!要想得到一個好模型就必須先充分了解數據。在正式訓練模型之前，先來探索分析數據。看，Gender居然也是個重要因素。當我們將身...

線性回歸可謂是機器學習界的helloworld，在現實中也有廣泛應用，今天我們以圖表為主，用可視化方法重新審視下這個模型。先來個整體視角：再逐步分解開來：????????????????????????????????????????????如果自變量只有一個，我們稱為簡單線性回歸，雖然簡單，但很強大，能用來發現數據中潛在的變化趨勢。??????????????????????????線性回歸的目標是擬合一條直線，這條直線最能體現自變量和因變量之間的線性依賴關系。????????...

國外一美女程序員，在Github上通過檢索gpt,llm,和generativeai等關鍵字，從數十萬檢索結果中得到900個500+star大模型開源項目。她將統計結果放到了網站上，并定期更新star數等信息，同時提供了排序，分組，過濾等工具，我們也可以拿她的統計結果來進行分析。??https:huyenchip.comllamapolice??接下來讓我們看看她通過分析這些開源項目學到了什么。新的AI堆棧基礎設施包括訓練大模型的硬件資源，訓練大模型需要大量的顯卡，...

多模態學習可以看作是深度學習的一個細分領域，利用不同類型的神經網絡來處理不同模態（如圖像、文本、音頻等）的數據。多模態任務大體可以分為理解和生成兩大類，生成任務又分為文生圖和圖生文。?CLIP是入門多模態的最佳選擇，后續多模態模型基本上都延續了它的思想：分別用圖像編碼器和文本編碼器將圖像和文本編碼到一個共享的特征空間中，然后通過多模態融合方法將配對的圖像文本特征向量拉進。[CLIP]手書動畫??[1]給定?...

深度學習是機器學習的一個子領域，深度學習通過神經網絡模擬人腦神經元的連接來進行復雜數據的學習與預測。其中，卷積神經網絡（CNN）主要用于計算機視覺任務；循環神經網絡（RNN）則適用于處理序列數據。今天介紹CV和NLP領域一些重要模型。?[RNN]手書動畫??0.初始化輸入序列X：[3,4,5,6]參數矩陣：參數矩陣是通過訓練得到的，圖中雖然列了4個節點，但其實是同一個節點按照時間步展開的，這也是RNN經常被誤解的地方。RNN隱狀...

[SVM]手書動畫??除了SVM，傳統機器學習中還有很多其它分類、回歸和聚類算法，例如邏輯回歸，決策樹，隨機森林等集成學習方法；這里統稱為模型，這些模型基本上可以通過明確的數學公式定義輸入數據與輸出結果之間的關系。在深度學習興起之前，支持向量機(SVM)在機器學習領域占據主導地位。這個動畫比較了線性SVM和RBFSVM。[1]給定:xi:六個訓練向量(藍色行??)yi:標簽使用xi和yi，我們學習得到ai和b(紅色邊框):ai:每個訓練向量i...

現在市面上的大模型越來越多，選擇多了也可能成為一種幸福的煩惱。如何選擇一個好模型？在機器學習中，通常會使用一些評估指標來選擇模型，例如，用精度、召回率、F1等指標來評估一個分類模型的性能；使用IOU，AUC等指標評估目標檢測和分割模型的性能。同理，大模型也有評估指標。質量：大模型的指令跟隨以及推理能力，例如，通用推理能力，或者具有某一方面的編碼、數學推理能力。性能：大模型的反應速度和記憶能力，例如，每...

傳統RAGLLM預訓練和微調一般都是基于公開的互聯網數據，不可能包含公司內部私有數據，如果你問有關某公司的運營情況，直接基于模型參數生成的回答可能和胡說八道沒什么兩樣。RAG（RetrievalAugmentedGeneration）的思想就是將私有數據作為參考信息傳遞給LLM。這些私有數據除了作為一種補充信息，也可以作為一種限制，能避免LLM產生幻覺。參考信息一般以文本、圖片等非結構化形式存在。RAG的流程是：1.首先要將文本劃分成片段，...

??從零實現大模型BERT預訓練????從零實現大模型BERT微調??我們在BERT微調那篇文章中提到，許多NLP任務（如情感分析和問答）都依賴于上下文理解能力。而像BERT這種雙向模型具有較強的上下文理解能力，因此非常適合用于任務微調，即針對某個具體任務進行微調。??從零實現大模型GPT2預訓練????從零實現大模型GPT2指令微調????從零實現大模型GPT2RLHF??而像GPT這種自回歸模型，在預訓練完成后會進行一個指令微...

??從零實現大模型多頭注意力和Transformer????從零實現大模型GPT2預訓練????從零實現大模型GPT2指令微調??通過前面的預訓練和指令微調，我們得到了既能續寫文本，又能遵守指令的GPT2模型。但從GPT的演進路線來看，要達到ChatGPT的水平，除了增加模型參數、使用更多的數據預訓練、更高質量的監督數據指令微調外，還需要一個重要的技術手段，那就是RLHF。(RLHF：ReinforcementLearningfromHumanFeedback)：即基于人類...

按照順序，輪也該輪到BERT指令微調了吧！是微調，但不是指令微調！我們在之前的文章介紹過大模型的多種微調方法，指令微調只是其中一種，就像訓犬一樣，讓它坐就坐，讓它臥就臥，同理，你讓LLM翻譯，它不是去總結，你讓它總結，它不是去情感分析。指令微調在像GPT這種自回歸的模型中應用多一些。我們在前一篇文章中基于GPT2預訓練模型進行了指令微調。除了指令微調，還有一種比較常用的是任務微調，預訓練模型雖然具備一定的知...