記性差是目前主流大型語言模型的主要痛點，比如ChatGPT只能輸入4096個token（約3000個詞），經常聊著聊著就忘了之前說什么了，甚至都不夠讀一篇短篇小說的。

過短的輸入窗口也限制了語言模型的應用場景，比如給一篇科技論文（約1萬詞）做摘要的時候，需要把文章手動切分后再輸入到模型中，不同章節之間關聯信息就丟失了。

雖然GPT-4最長支持32000個token、升級后的Claude最高支持10萬token，但也只能緩解腦容量不足的問題。

最近一家創業團隊Magic宣布即將發布LTM-1模型，最長支持500萬token，大約是50萬行代碼或5000個文件，直接比Claude高50倍，基本可以覆蓋大多數的存儲需求，這可真就量變產生質變了！

LTM-1的主要應用場景在于代碼補全，比如可以生成更長、更復雜的代碼建議。

還可以跨越多個文件重用、合成信息。

壞消息是，LTM-1的開發商Magic并沒有發布具體技術原理，只是說設計了一種全新的方法the Long-term Memory Network (LTM Net)。

但也有個好消息，2021年9月，DeepMind等機構的研究人員曾經提出一種名為 ∞-former 的模型，其中就包含了長期記憶（long-term memory，LTM）機制，理論上可以讓Transformer模型具有無限長的記憶力，但目前并不清楚二者是否為同一技術，或是改良版。

論文鏈接：https://arxiv.org/pdf/2109.00301.pdf

開發團隊表示，雖然LTM Nets可以比GPT看到更多的上下文，但LTM-1模型的參數量比當下的sota模型小的多，所以智能程度也更低，不過繼續提升模型規模應該可以提升LTM Nets的性能。

目前LTM-1已經開放alpha測試申請。

申請鏈接：https://magic.dev/waitlist

LTM-1的開發商Magic創立于2022年，主要開發類似GitHub Copilot的產品，可以幫助軟件工程師編寫、審查、調試和修改代碼，目標是為程序員打造一個AI同事，其主要競爭優勢就是模型可以讀取更長的代碼。

Magic致力于公眾利益（public benefit），使命是構建和安全部署超過人類只能的AGI系統，目前還是一家只有10人的創業公司。

今年2月，Magic獲得由Alphabet旗下CapitalG領投的2300萬美元A輪融資，投資人還包括GitHub前首席執行官和Copilot的聯合出品人Nat Friedman，目前公司總資金量已達2800萬美元。

Magic的首席執行官兼聯合創始人Eric Steinberger本科畢業于劍橋大學計算機科學專業，曾在FAIR做過機器學習研究。

在創立Magic前，Steinberger還曾創立過ClimateScience，以幫助全世界的兒童學習氣候變化的影響。

無限記憶的Transformer

語言模型核心組件Transformer中注意力機制的設計，會導致每次增加輸入序列的長度時，時間復雜度都會呈二次方增長。

雖然已經有一些注意力機制的變體，比如稀疏注意力等降低算法復雜度，不過其復雜度仍然與輸入長度有關，不能無限擴展。

∞-former中長期記憶（LTM）的Transformer模型可以將輸入序列擴展到無限的關鍵在是一個連續空間注意力框架，該框架用降低表征粒度的方式提升記憶信息單元的數量（基函數）。

在框架中，輸入序列被表示為一個「連續信號」，代表N個徑向基函數（RBF）的線性組合，這樣一來，∞-former的注意復雜度就降為了O(L^2 + L × N)，而原始Transformer的注意力復雜度為O(L×(L+L_LTM))，其中L和L_LTM分別對應于Transformer輸入大小和長期記憶長度。

這種表示方法有兩個主要優勢：

1. 上下文可以用小于token數量的基函數N來表示，減少了注意力的計算成本；

2. N可以是固定的，從而能夠在記憶中表示無限的上下文，并且不會增加注意力機制的復雜度。

當然，天下沒有免費的午餐，代價就是分辨率的降低：使用較少數量基函數時，會導致在將輸入序列表示為連續信號時降低精度。

為了緩解分辨率降低問題，研究人員引入了「粘性記憶」（sticky memories）的概念，將LTM信號中的較大空間歸結為更頻繁訪問的記憶區域，在LTM中創造了一個「永久性」的概念，使模型能夠更好地捕捉長時間的背景而不丟失相關信息，也是從大腦的長期電位和可塑性中得到了啟發。

實驗部分

為了驗證∞-former能否對長語境進行建模，研究人員首先對一個合成任務進行實驗，即在一個長序列中按頻率對token進行排序；然后通過微調預訓練語言模型，對語言建模和基于文檔的對話生成進行實驗。

排序

輸入包括一個根據概率分布（系統未知）采樣的token序列，目標是按照序列中頻率遞減順序生成token

為了研究長期記憶是否被有效利用，以及Transformer是否只是通過對最近的標記進行建模來排序，研究人員將標記概率分布設計為隨時間變化。

詞表中有20個token，分別用長度為4,000、8,000和16,000的序列進行實驗，Transformer-XL和compressive transformer作為對比基線模型。

實驗結果可以看出，在短序列長度（4,000）的情況下，Transformer-XL實現了比其他模型略高的精度；但當序列長度增加時，其精度也迅速下降，不過對于∞-former來說，這種下降并不明顯，表明其在對長序列進行建模時更有優勢。

語言建模

為了了解長期記憶是否可以用來擴展預訓練的語言模型，研究人員在Wikitext103和PG-19的一個子集上對GPT-2 small進行了微調，包括大約2億個token。

實驗結果可以看到，∞-former可以降低Wikitext-103和PG19的困惑度，并且∞-former在PG19數據集上獲得的改進更大，因為書籍比維基百科文章更依賴于長期記憶。

基于文檔對話

在以文檔為基礎的對話生成中，除了對話歷史之外，模型還可以獲得關于對話主題的文檔。

在CMU Document Grounded Conversation dataset（CMU-DoG）中，對話是關于電影的，并給出了電影的摘要作為輔助文檔；考慮到對話包含多個不同的連續語篇，輔助文檔被分為多個部分。

為了評估長期記憶的有用性，研究人員只讓模型在對話開始前才能訪問文件，使這項任務更具挑戰性。

在對GPT-2 small進行微調后，為了讓模型在記憶中保持整個文檔，使用一個N=512個基函數的連續LTM（∞-former）擴展GPT-2。

為了評估模型效果，使用perplexity、F1 score、Rouge-1和Rouge-L，以及Meteor指標。

從結果來看，∞-former和compressive Transformer能夠生成更好的語料，雖然二者的困惑度基本相同，但∞-former在其他指標上取得了更好的分數。