大模型技術(shù)論文不斷，每個(gè)月總會(huì)新增上千篇。本專欄精選論文重點(diǎn)解讀，主題還是圍繞著行業(yè)實(shí)踐和工程量產(chǎn)。若在閱讀過程中有些知識(shí)點(diǎn)存在盲區(qū)，可以回到如何優(yōu)雅的談?wù)摯竽Ｐ椭匦麻喿x。另外斯坦福2024人工智能報(bào)告解讀為通識(shí)性讀物。若對(duì)于如果構(gòu)建生成級(jí)別的AI架構(gòu)則可以關(guān)注AI架構(gòu)設(shè)計(jì)。

記得在《重新審視神經(jīng)網(wǎng)絡(luò)》這篇文章中提及，任何人都可以構(gòu)建自己心目中的神經(jīng)網(wǎng)絡(luò)。在Transformers、Mamba、KAN之后，長(zhǎng)短期記憶 (LSTM) 架構(gòu)的發(fā)明者Sepp Hochreiter和他在NXAI的團(tuán)隊(duì)推出了一種稱為擴(kuò)展LSTM (xLSTM) 的新變體。

1.xLSTM的背景

LSTM在自然語音處理的領(lǐng)域影響巨大，但它也有局限性。在一些特殊的任務(wù)上，比如最臨近鄰搜索的時(shí)候，在記憶細(xì)胞的更新方面就頗有壓力。來自ELLIS、LIT AI實(shí)驗(yàn)室、奧地利林茨NXAI實(shí)驗(yàn)室的研究人員希望通過解決LSTM語言模型的局限性來增強(qiáng)LSTM。

改進(jìn)點(diǎn)有不少，小編認(rèn)為沒有LSTM的基礎(chǔ)很難完全看得明白。因此決定初看改進(jìn)點(diǎn)之后，將一些基本的知識(shí)點(diǎn)做回顧，否則只會(huì)走馬觀花。xLSTM的改進(jìn)點(diǎn)：

引入具有適當(dāng)歸一化和穩(wěn)定技術(shù)的指數(shù)門控（可以理解為激活函數(shù)）。

修改LSTM記憶結(jié)構(gòu)，推出兩種記憶細(xì)胞。第一種是sLSTM，它具有標(biāo)量記憶、標(biāo)量更新和新記憶混合的能力，第二種是mLSTM，它擁有矩陣記憶，而且這些記憶可以通過協(xié)方差更新且全部具備并行運(yùn)算

將上面的LSTM擴(kuò)展體結(jié)合殘差網(wǎng)絡(luò)設(shè)計(jì)模式產(chǎn)生xLSTM塊，然后將這些塊堆疊到xLSTM架構(gòu)。

和Transformer和狀態(tài)空間模型相比，指數(shù)門控和修改后的記憶結(jié)構(gòu)增強(qiáng)了xLSTM的性能，無論是在性能還是擴(kuò)展方面表現(xiàn)尚可。這些突破讓LSTM長(zhǎng)期在大語言模型上的瓶頸得到解決，也許未來可能會(huì)成為新的大語言技術(shù)巨頭。

Transformer只是一種大語言模型的架構(gòu)，核心還是注意力機(jī)制，然而計(jì)算的復(fù)雜度還是擺在那兒。有不少的競(jìng)爭(zhēng)者例如Synthesizer、Linformer、Linear Transformer和Performer專注于線性開銷的注意力技術(shù)。狀態(tài)空間模型 (SSM) 因其上下文長(zhǎng)度的線性也備受關(guān)注，S4、DSS、BiGS和Mamba異軍突起。具有線性單元和門控機(jī)制的循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 也在掙扎，HGRN和RWKV。xLSTM則利用協(xié)方差更新規(guī)則、記憶混合和殘差堆疊架構(gòu)進(jìn)行關(guān)鍵組件的增強(qiáng)，不容小覷。

在xLSTM用于語言建模的實(shí)驗(yàn)評(píng)估中，xLSTM的功能在形式語言、聯(lián)想回憶任務(wù)和遠(yuǎn)程競(jìng)技場(chǎng)場(chǎng)景上進(jìn)行了測(cè)試。與現(xiàn)有方法的比較揭示了xLSTM 在驗(yàn)證困惑度方面的優(yōu)越性。

消融研究強(qiáng)調(diào)了指數(shù)門控和矩陣記憶在xLSTM性能中的重要性。對(duì)300B 個(gè)token進(jìn)行的大語言建模驗(yàn)證了xLSTM的有效性，顯示了其在處理長(zhǎng)上下文、下游任務(wù)和多樣化文本域方面的魯棒性?？s放行為分析表明，隨著規(guī)模的增加，xLSTM與其他模型相比具有良好的性能。隨著序列長(zhǎng)度的增加，xLSTM架構(gòu)的時(shí)間復(fù)雜度為O(N)，內(nèi)存復(fù)雜度為O(1)，這點(diǎn)比Transformer更加高效。

2.指數(shù)門控

xLSTM論文中引入的指數(shù)門控機(jī)制是對(duì)LSTM中使用的傳統(tǒng)sigmoid門控的重大改進(jìn)。這里要給大家科普一下，模型輸出數(shù)值一般會(huì)經(jīng)過激活函數(shù)，sigmoid是其中的一種，任何輸入都會(huì)得到0~1期間的數(shù)值。一般在LSTM中，0就代表著不通過，1代表允許通過。那么門控的意思大白話就是門閥，它決定著信息的穿透度。

上圖就對(duì)比了原來LSTM和sLSTM的運(yùn)算公式，新的里面由σ函數(shù)被替代為exp函數(shù)。原論文對(duì)于替換的解釋是由此增強(qiáng)了模型在處理新信息時(shí)能有效修改和更新其記憶的能力。

在傳統(tǒng)的 LSTM 中，sigmoid函數(shù)限制了模型對(duì)記憶單元狀態(tài)進(jìn)行實(shí)質(zhì)性改變的能力，特別是當(dāng)門值接近0或1時(shí)。這種限制阻礙了LSTM快速適應(yīng)新數(shù)據(jù)，并可能導(dǎo)致低效的記憶更新。

xLSTM通過用指數(shù)激活函數(shù)替換sigmoid激活函數(shù)來解決此問題。指數(shù)門控允許記憶細(xì)胞狀態(tài)發(fā)生更明顯的變化，（指數(shù)函數(shù)的取值范圍0~+∞）使模型能夠快速整合新信息并相應(yīng)地調(diào)整其記憶。歸一化器有助于穩(wěn)定指數(shù)門控并維持輸入門和遺忘門之間的平衡。

3.矩陣記憶

xLSTM論文的另關(guān)鍵貢獻(xiàn)是引入了矩陣記憶體（內(nèi)存，或者稱之存儲(chǔ)器），它取代了傳統(tǒng) LSTM中使用的標(biāo)量存儲(chǔ)單元。在LSTM中，存儲(chǔ)單元由單個(gè)標(biāo)量表示，約束了每個(gè)時(shí)間步可以存儲(chǔ)和處理的信息量。這種局限性可能會(huì)阻礙模型捕獲和保留復(fù)雜依賴關(guān)系和長(zhǎng)期信息的能力。

xLSTM通過采用矩陣存儲(chǔ)器突破這一限制，其中每個(gè)存儲(chǔ)器單元由矩陣而不是標(biāo)量表示。從標(biāo)量?jī)?nèi)存到矩陣內(nèi)存的轉(zhuǎn)變顯著增強(qiáng)了模型存儲(chǔ)和處理豐富的高維信息的能力。

矩陣內(nèi)存允許xLSTM捕獲輸入數(shù)據(jù)中更復(fù)雜的關(guān)系和依賴關(guān)系。它使模型能夠更全面地表示上下文和長(zhǎng)期依賴性，從而提高需要理解和生成復(fù)雜序列的任務(wù)的性能。

4.可并行架構(gòu)

xLSTM最重要的進(jìn)步是引入了可并行架構(gòu)，它解決了傳統(tǒng)LSTM的主要限制。在傳統(tǒng)的LSTM中，令牌的處理是按順序執(zhí)行的，其中每個(gè)令牌一次處理一個(gè)，這限制了模型利用并行性的能力，并導(dǎo)致訓(xùn)練和推理時(shí)間變慢。xLSTM 架構(gòu)引入了mLSTM（矩陣內(nèi)存LSTM）和sLSTM（標(biāo)量 LSTM）塊的靈活組合，從而實(shí)現(xiàn)令牌的并行處理。

mLSTM被設(shè)計(jì)為同時(shí)對(duì)整個(gè)令牌序列進(jìn)行操作，從而實(shí)現(xiàn)類似于 Transformer 模型實(shí)現(xiàn)的并行性的高效并行計(jì)算。主要還是利用矩陣存儲(chǔ)機(jī)制，使它們能夠并行捕獲和處理所有令牌的豐富、高維信息。這種并行處理能力顯著加快了訓(xùn)練和推理過程，使 xLSTM 比傳統(tǒng) LSTM 的計(jì)算效率更高。

另一方面，sLSTM 則被設(shè)計(jì)為保留了傳統(tǒng)LSTM的順序處理性質(zhì)，允許模型捕獲對(duì)于特定任務(wù)可能很重要的某些順序依賴性。在 xLSTM 架構(gòu)中可以靈活的以不同比例堆疊mLSTM和sLSTM塊，提供了并行性和順序建模之間的平衡，從而能夠適應(yīng)各種語言建模任務(wù)。

本文轉(zhuǎn)載自 ??魯班模錘??，作者： 龐德公