編輯|伊風  

出品 | 51CTO技術棧（微信號：blog51cto）                 

谷歌終于出手了！我們將不再忍受大模型的“健忘癥”。

TransformerFAM橫空出世，放話要讓大模型擁有無限記憶力！

話不多說，先來看看TransformerFAM的“療效”：      

圖片

大模型在處理長上下文任務時的性能得到了顯著提升！

上圖中，Isabelle、NarrativeQA等任務要求模型理解和處理大量上下文信息，并對特定問題給出準確的回答或摘要。在所有任務中，FAM配置的模型都優于所有其他BSWA配置，并且能看到當超過某個點時，BSWA記憶段數量的增加已經無法繼續提升其記憶能力。

看來，在卷長文本、長對話的路上，FAM這顆大模型的“忘不了”確實有點東西。

Google 的研究人員介紹，FAM這種新穎的 Transformer 架構——Feedback Attention Memory，它利用反饋循環使網絡能夠關注其自身的潛在表示，促進 Transformer 內部工作記憶的出現，并使其能夠處理無限長的序列。

簡單點說，這個策略有點像我們人工對抗大模型“失憶”的策略：每次和大模型對話前都再輸入一次prompt。只不過FAM的做法更高階一些，在模型處理新的數據塊時，它會將之前處理過的信息（即FAM）作為一個動態更新的上下文，再次整合到當前的處理過程中。   

這樣就能很好地應對“愛忘事”的問題了。更妙的是，盡管引入了反饋機制來維持長期的工作記憶，但FAM的設計旨在保持與預訓練模型的兼容性，不需要額外的權重。所以理論上說，大模型的強大記憶力，沒有使其變得遲鈍或者消耗更多的算力資源。

那么，這么妙的TransformerFAM是如何被探索出來的？相關技術又是啥？

一、從挑戰中來，TransformerFAM為何能幫助大模型“記住更多”？

滑動窗口注意力（Sliding Window Attention, SWA）這個概念，對TransformerFAM的設計至關重要。

在傳統的Transformer模型中，自注意力（Self-Attention）的復雜度隨著序列長度的增加而呈二次方增長，這限制了模型處理長序列的能力。

“在電影《記憶碎片》（2000 年）中，主角患有順行性遺忘癥，這意味著他無法記住過去 10 分鐘發生的事情，但他的長期記憶是完好的，他不得不將重要信息紋在身上以記住它們。這與當前大型語言模型（LLMs）的狀態類似，”論文中這樣寫道。   

《記憶碎片》電影截圖，圖片源于網絡

滑動窗口注意力（Sliding Window Attention），它是一種改進的注意力機制，用于處理長序列數據。它受到了計算機科學中滑動窗口技術（sliding window technique）的啟發。在處理自然語言處理（NLP）任務時，SWA允許模型在每個時間步驟上只關注輸入序列的一個固定大小的窗口，而不是整個序列。因此，SWA的優點在于它可以顯著減少計算量。

圖片

但是SWA有局限性，因為它的注意力范圍受限于窗口大小，這導致模型無法考慮到窗口之外的重要信息。

TransformerFAM通過添加反饋激活，將上下文表示重新輸入到滑動窗口注意力的每個區塊中，從而實現了集成注意力、區塊級更新、信息壓縮和全局上下文存儲。

在TransformerFAM中，改進通過反饋循環實現。具體來說，模型在處理當前序列塊時，不僅關注當前窗口內的元素，還會將之前處理過的上下文信息（即之前的“反饋激活”）作為額外的輸入重新引入到注意力機制中。這樣，即使模型的注意力窗口在序列上滑動，它也能夠保持對之前信息的記憶和理解。

于是，經過這番改進，TransformerFAM就給了LLMs能夠處理無限長度序列的潛力！

二、有了工作記憶的大模型，繼續向AGI邁進

TransformerFAM在研究中展現出了積極的前景，這將毫無疑問地提升AI在理解和生成長文本任務中的性能，例如處理文檔摘要、故事生成、問答等工作。

圖片

同時，無論是智能助手還是情感陪伴，一個有無限記憶力的AI聽起來都更有吸引力。

有趣的是，TransformerFAM的設計靈感來源于生物學中的記憶機制，這一點與AGI追求的自然智能模擬不謀而合。這篇論文正是一個來自神經科學的概念——基于注意力的工作記憶——整合到深度學習領域的嘗試。

TransformerFAM通過反饋循環為大模型引入了工作記憶，使得模型不僅能夠記住短期的信息，還能夠在長期序列中維持對關鍵信息的記憶。   

通過大膽的想象，研究人員在現實世界與抽象概念間假設起橋梁。隨著TransformerFAM這樣的創新成果繼續涌現出來，技術的瓶頸會一次次被突破，一個更加智能、互聯的未來正向我們徐徐地展開畫卷。

本文轉載自??51CTO技術棧??，作者：伊風