谷歌開源Gemma Scope，更好解釋大模型工作原理
隨著多模態(tài)大模型的出現(xiàn)，內部神經網絡參數(shù)少則幾百億，多則上千億甚至過萬億，使得開發(fā)人員很難控制其輸出內容經常會出現(xiàn)各種“幻覺”，就是一本正經的胡說八道。
雖然稀疏自編碼器（簡稱“SAE”）是解決這些難題的主流方法，可以學習神經網絡潛在表示的稀疏分解，將其分解為可解釋的詞、短語等特征，能有效解釋大模型的工作原理與機制。但普通的SAE質量難以保證，并且訓練成本非常高。
所以，谷歌DeepMind針對其開源的Gemma 2模型訓練了特定的SAE——Gemma Scope。
Gemma Scope開源地址：https://huggingface.co/google/gemma-scope
Gemma 2 2B開源地址：https://huggingface.co/collections/google/gemma-2-2b-release-66a20f3796a2ff2a7c76f98f
Gemma-2-9b開源地址：https://huggingface.co/google/gemma-2-9b/tree/main
SAE是一種無監(jiān)督學習方法，能幫助我們理解大模型內部的表示，并且這些特征往往與人類可理解的概念相關聯(lián)。例如，在處理文本數(shù)據(jù)時，SAE能學會識別“狗”這個詞背后的抽象概念，而不僅僅是字面上的字符組合。
這就好比在一堆混亂的線條中，SAE能幫我們找到那些構成“狗”的特征線條，能讓我們更直觀地理解模型是如何認識和生成“狗”這個字的。
與其他SAE相比，Gemma Scope通過強制學習過程中的稀疏性，使得模型的內部表示中只有少數(shù)幾個關鍵特征被激活，而其余特征則保持為零。這種稀疏性不僅減少了模型的復雜度，還提高了其可解釋性，讓我們能夠更容易地識別和理解模型決策背后的關鍵因素。
Gemma Scope另外一大技術特點是其規(guī)模和全面性，研究人員在訓練的過程涉使用了海量的文本數(shù)據(jù)，每個SAE都是在4—160億個文本標記上進行訓練覆蓋了Gemma 2模型的所有層和子層。學習了超過3000萬個特征，一共訓練了超過400個SAE。
此外，Gemma Scope在訓練SAE時采用了一種特殊的激活函數(shù)JumpReLU。這種激活函數(shù)專為SAE設計，通過引入一個可學習的閾值來促進稀疏性，同時保持特征學習的效率和質量。
傳統(tǒng)ReLU函數(shù)的特點是在輸入小于零時輸出零，而在輸入大于零時保持線性。而JumpReLU在此基礎上引入了一個非線性的跳躍閾值，允許神經元在達到一定閾值后產生較大的跳躍響應，而不是簡單的線性響應。
這種跳躍響應機制增強了自編碼器對于關鍵稀疏特征的敏感度，使得模型能夠更加精準地捕捉那些在數(shù)據(jù)集中出現(xiàn)頻率低但信息含量高的特征。
此外，研究人員在訓練Gemma Scope的過程中，使用了大量優(yōu)質數(shù)據(jù)來確保SAE的有效性。例如，在數(shù)據(jù)方面使用了與Gemma預訓練文本數(shù)據(jù)相同分布的文本，來訓練Gemma 2模型的激活。
在參數(shù)設置上，精心調整了學習率、帶寬、稀疏性系數(shù)等參數(shù)，以提升訓練效果。在基礎設施方面，使用了TPUv3、TPUv5p等加速器，并優(yōu)化了數(shù)據(jù)管道，以提高訓練效率。
谷歌DeepMind表示，希望通過開源的Gemma Scope可以幫助開發(fā)人員更好地利用和了解SAE技術，有助于擴展到更多、更大的模型上，從而用在解釋思維鏈等更復雜的功能上，幫助更大參數(shù)的大模型解決幻覺、越獄攻擊等難題。
本文轉自 AIGC開放社區(qū) ，作者：AIGC開放社區(qū)
