大模型領域的發展日新月異，每天都有許多有趣的論文值得深入品讀。下面是本期覺得比較有意思的論文：

1、LLM的"數數"能力有多弱？一個意想不到的"罪魁禍首"

2、專家模型的潛在隱患：用戶提示被竊取的背后

1、LLM的"數數"能力有多弱？一個意想不到的"罪魁禍首"

你相信大型語言模型（LLM）連簡單的"數數"都可能做不好嗎？近期一篇震驚學術界的論文揭示了這個令人驚訝的事實：即便是號稱"無所不能"的AI模型，在面對基礎計數任務時也可能栽跟頭。

這項研究的關鍵發現在于：tokenization（分詞）可能是影響AI模型計數能力的"幕后黑手"。就像一個翻譯員不小心省略或錯誤理解了部分對話，不恰當的分詞方式會導致AI模型丟失關鍵信息，使其在計數任務中準確率最高可降低80%！研究者們通過大量實驗證實，不同的分詞策略會極大地影響模型的推理能力。    

有趣的是，這個看似技術性很強的發現，實際上揭示了AI模型"思考"的本質機制。傳統的Transformer架構本身就存在計算深度的先天局限，而精心設計的分詞方法可以在某種程度上"彌補"這一缺陷。這就像是為AI模型配備了一副更精確的"眼鏡"，幫助它更準確地"看清"和"理解"輸入的信息。

對于普通讀者和AI從業者來說，這項研究傳遞了一個重要信息：AI的智能遠比我們想象的更加脆弱和依賴細節。在追求"智能"的道路上，每一個看似微不足道的技術細節，都可能成為決定性的關鍵。

論文標題：Counting Ability of Large Language Models and Impact of Tokenization

論文鏈接：https://arxiv.org/abs/2410.19730

2、專家模型的潛在隱患：用戶提示被竊取的背后

在當今的語言模型中，Mixture-of-Experts (MoE) 架構以其高效性和可擴展性而備受青睞。然而，最新的研究揭示了這種架構中的一個嚴重安全漏洞——用戶輸入提示的泄露。本文深入探討了“MoE Tiebreak Leakage”攻擊，揭示了惡意用戶如何通過巧妙構造查詢批次，利用專家選擇路由的缺陷，從而完全竊取目標用戶的私人輸入。    

研究人員成功地在一個兩層的Mixtral模型中展示了這種攻擊。他們發現，惡意用戶只需提交少量精心設計的查詢，就能夠操控專家路由，使目標用戶的提示泄露。具體而言，研究表明，攻擊者只需發出平均100個查詢，便可提取到整個用戶提示，揭示了MoE模型在設計時未能考慮的安全隱患。    

該論文不僅介紹了這一新型攻擊，還強調了在語言模型設計和部署過程中進行系統安全分析的重要性。由于這種信息泄露現象微妙而難以察覺，研究者呼吁在未來的模型架構中融入安全考慮，以防止類似的攻擊再次發生。    

隨著語言模型的不斷發展，確保用戶數據安全將是一個亟需解決的重要問題。深入了解MoE模型的安全漏洞，將有助于推動更加安全的AI技術進步。

論文標題：Stealing User Prompts from Mixture of Experts

論文鏈接：??https://arxiv.org/abs/2410.22884??

本文轉載自 ??AI帝國??，作者： 無影寺