精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

垃圾刷多了AI也會變蠢!“年度最令人不安的論文”

人工智能 新聞
大模型灌多了垃圾內容也會變蠢降智腦損傷,而且后面變不回來了。

你知道有個全球年度詞匯叫“腦損傷”(Brain Rot)嗎?

特指那些因人長期接觸碎片化、低價值網絡信息而逐漸變得記憶紊亂、注意力下降的情況(俗稱碎片化垃圾信息刷多了)。在2024年,這個詞一度被選為牛津年度詞匯。

然鵝!最新研究結論顯示,AI也一樣。大模型灌多了垃圾內容也會變蠢降智腦損傷,而且后面變不回來了。

就在最近,幾個AI研究者找來了幾個月的高流行但低價值的Twitter數據(現??),統統“喂”給大模型后發現:

  • 模型推理能力下降了23%;
  • 模型長上下文記憶下降了30%;
  • 模型性格測試顯示,其自戀和精神病態的現象激增。

更可怕的是,即使后來又在干凈、高質量的數據上進行重新訓練,這些已經造成的損傷,無法完全修復。

好嘛,本來以為只是簡單的“輸入壞數據→輸出壞數據”(種瓜得瓜也不難理解),結果你告訴我一次錯誤就會造成永久性的認知漂移。(os:AI貌似比人類更慘?)

細思極恐,“這可能是2025年最令人不安的AI論文了”。

以及諸多討論之中,“垃圾進垃圾出”這一計算機習語也再度被頻頻提及(doge),堪稱“計算機第一性原理”了。

所以這個研究怎么進行的?又究竟說了什么?

提出并驗證“LLM腦損傷假說”

概括而言,論文想要探究一個核心問題:

大語言模型(LLM)持續接觸垃圾數據后,是否會像人類一樣出現認知衰退?(即“LLM腦損傷假說”)

要想搞清這個問題,第一步就是要定義:對于LLM來說,什么是“垃圾數據”?

之前的研究僅關注“惡意數據”(如后門、有毒的文本等),而這項研究聚焦于生活中更普遍的“非惡意低質量數據”,也就是短平快的熱門推文、標題黨內容等,以此來填補“日常化數據質量如何影響LLM認知”這一空白領域。

具體而言,研究人員從兩個維度(避免單一標準偏差)來定義“垃圾數據”,這些數據均源自??平臺上的公開內容,而且通過讓“垃圾組”與“對照組”的token數量一致來排除數據量差異的干擾:

  • M1(參與度維度):把“短文本+高熱度”的內容歸為垃圾數據,具體是指長度小于30 token+點贊/轉發/回復大于500,然后把“長文本+低熱度”定義為對照數據。
  • M2(語義質量維度):用GPT-4o-mini結合人工驗證,把含標題黨語言(如 “WOW”“TODAY ONLY”)、陰謀論、無論斷依據的文本歸為垃圾數據;對照組則是事實準確、有教育價值或深度分析的內容,比如含專業知識、邏輯推理的推文。

基于上述兩類數據,然后進行模型訓練。

研究人員選了4個不同的大語言模型(Llama3-8B-Instruct、Qwen2.5-7B-Instruct、Qwen2.5-0.5B-Instruct、Qwen3-4B-Instruct),給每個模型分別“喂”這兩類數據,讓它們持續預訓練。

等預訓練結束,接著讓所有模型統一再進行指令微調,以此來確保模型最后輸出的“垃圾內容”不是因為格式問題導致的(排除其他因素,只留下“認知損傷”這一種可能)。

然后,研究人員從四個認知維度來測試這些大模型的核心能力:

  • ARC(檢測推理能力):基于網格的視覺程序歸納謎題,用于測試概念抽象能力。
  • RULER(檢測記憶與多任務處理能力):用于評估長上下文理解能力,以及從長上下文中檢索多個查詢結果。
  • HH-RLHF&AdvBench (檢測道德規范):測試大語言模型是否會遵循有害指令,評估其安全性。
  • TRAIT(檢測AI人格特質):經過心理測量學驗證的小型人類問卷,用于評估模型類似人類的人格傾向。

結果得出了以下發現——

真·垃圾進垃圾出!且損傷不可逆

首先,大模型確實和人類一樣存在“腦損傷(Brain Rot)”問題。

整體上M1和M2兩種維度上的“垃圾數據”均會導致模型認知下降,但需要注意的是——

M1所帶來的負面影響更為顯著,尤其在安全性和人格層面(M1會導致安全性評分下降,同時自戀/精神病特質明顯增強)。

而且,這一損害明顯存在“劑量效應”,即垃圾數據攝入越多,AI認知損傷越嚴重。

至于導致AI認知受損的背后原因,研究人員也做了一番探查。

結果發現,主要原因竟是“思維跳躍”(俗稱AI懶得一步步思考)。

具體而言,研究人員通過分析ARC題的錯誤答案,發現失敗多源于模型要么直接給答案不解釋,要么規劃了推理步驟卻跳過關鍵環節(如解數學題漏了公式推導)。

尤其是M1組,70%以上的錯誤都是“無思考直接回答”,就好像人類刷多了短視頻后“不愿意再深度思考”。

與此同時,相比人類可以通過其他措施來緩解類似的認知下降問題,AI卻對此“束手無策”。

研究嘗試了兩種修復方法,結果都無法讓其恢復如初:

其一是外部反思。研究人員用GPT-4o-mini給受損模型提錯誤反饋,雖然6輪下來“思維跳躍”這一錯誤誘因減少了,但推理準確率仍差基線17.3%。如果換成讓模型自我反思糾錯,則模型還會因為“認知不足”而判斷錯誤,導致誤差更高。

其二是大規模微調。研究人員把指令微調數據從5k增至50k,雖然修復效果優于“持續對照數據預訓練”,但即使使用4.8倍于垃圾數據量的指令數據,仍無法恢復基線性能。

這說明,即使事后進行大量指令微調或使用高質量數據進行重新訓練,也都無法完全恢復模型的初始性能。

一句話,只能緩解無法根治。

整體而言,這項研究給行業帶來了以下幾點新的啟發:

1、首次把“持續預訓練的數據篩選”歸為“訓練時安全問題”,提醒行業不能只關注“訓練后對齊”(如安全微調),更要在源頭把控數據質量。

2、給大模型加上“認知體檢”非常重要,建議部署大模型時使用ARC、RULER等基準測試AI認知,避免AI長期接觸低質量數據導致能力退化。

3、類似“熱度”這樣的指標比文本長度更能判斷數據質量,未來篩選訓練數據時,可優先排除“短+高傳播”的碎片化內容,尤其是社交平臺數據。

背后團隊:華人含量爆表

最后說一下這項研究的背后團隊——一共8人,其中7人為華人。

兩位共同一作分別為Shuo Xing和Junyuan Hong(兼通訊作者)。

Shuo Xing(邢朔),目前是得克薩斯A&M大學計算機科學博士,寧夏大學本科、南開大學碩士。

研究方向為多模態大語言模型、機器學習、可信人工智能、具身智能等,剛好目前也在谷歌實習(方向為多模態基礎模型)。

Junyuan Hong,個人主頁顯示即將赴任新國立電子與計算機工程系助理教授,之前曾在麻省總醫院和哈佛醫學院工作。

更早之前,他還在IFML機器學習基礎研究所從事博士后研究,一直對健康和可信人工智能感興趣。

另一位通訊作者是Zhangyang Wang,他之前是德克薩斯大學奧斯汀分校錢德拉家族電氣與計算機工程系(簡稱Texas ECE)的終身副教授。

從2024年5月開始,他選擇暫時離開學界,全職出任全球頂尖量化交易公司XTX Markets的研究總監,主導算法交易與深度學習交叉領域的研究工作。

個人主頁顯示,他還是中國科學技術大學校友,2012年獲得該校電子信息系統學士學位。

此外,兩位核心貢獻者分別為Yifan Wang和Runjin Chen。

Yifan Wang,現普渡大學四年級博士生,論文唯一外國作者Ananth Grama是其指導老師。

本科畢業于中國科學技術大學電子信息工程系,同時輔修人工智能專業。

自本科埋下對AI的好奇心后,目前對大模型后訓練、如何提升模型訓推效率感興趣。

(hhh,頭像一看就是標準的90后或00后)

Runjin Chen,目前是德克薩斯大學奧斯汀分校二年級博士生,導師為前面提到的Zhangyang Wang教授。

本碩均畢業于上海交通大學,而且她從今年3月起擔任Anthropic研究員。

個人研究方向為大語言模型的安全、對齊和推理。

其余三位支持者分別為Zhenyu Zhang、Ananth Grama和Zhengzhong Tu。

Zhenyu Zhang,目前是德克薩斯大學奧斯汀分校電氣與計算機工程系在讀博士,導師也是前面提到的Zhangyang Wang。

本碩均畢業于中國科學技術大學,研究興趣主要集中在生成式模型的訓推方面。

Ananth Grama,這項研究唯一的外國作者。

目前是普渡大學信息科學中心副主任,同時也是該校計算機科學領域的杰出榮譽教授。

他的研究重點為并行和分布式計算,致力于將其應用于復雜物理系統的建模、設計、先進制造、機器學習等領域。

Zhengzhong Tu,目前是得克薩斯A&M大學計算機科學與工程系助理教授,也是論文一作邢朔的導師。

同時,他還兼任該校可信、自主、以人為本與具身智能研究組(TACO-Group) 負責人一職。

個人主頁顯示,他至今已發表30多篇國際期刊/會議論文,而且曾擔任超18個國際期刊/會議的技術審稿人。

整體看下來,這又是一場典型的老師帶學生、同事帶同事的合作典范。

One More Thing

其實“垃圾進垃圾出”這一習語,計算機早期時代就有了。

十九世紀,計算機先驅查爾斯·巴貝奇(曾提出著名差分機與分析機的設計概念)就意識到了這條編程的基本原則:

我曾兩度被問到:“請問巴貝奇先生,如果給機器輸入錯誤的數字,它能得出正確的結果嗎?”我完全想不透,思維何等混亂的人才問得出這種問題。

瞧瞧他的用詞,只有思緒混亂之人才會對這個問題感到疑惑,觀點不可謂不鮮明。

在這之后,在一篇1957年介紹美國陸軍數學家所做的計算機工作的報紙文章中,其中一位軍隊專家也曾表示:

計算機自己不能思考,因此輸入粗劣的數據將不可避免地產生錯誤的輸出。

后來相關理論不斷被提出、被熱議,并逐漸誕生了“Garbage in, garbage out”這一習語。

實際上,在前AI的時代,這句話是計算機原理也是一種“以機為鏡”的哲學思考,對于計算機和人類,物種不同,但殊途同歸。

但AI開始進入智能涌現階段后,這個命題變得更加值得思考。

現階段的大模型垃圾喂多了“腦損傷”后難以修復……那有沒有方法和手段改變?

而人類發展進化歷史里充滿了“浪子回頭”、“痛改前非”的故事,又是否代表著另一種高級的智能機制,幫助人類個體實現自我革新和凈化?

你說呢……

項目主頁:https://llm-brain-rot.github.io/

論文:https://arxiv.org/pdf/2510.13928

責任編輯:張燕妮 來源: 量子位
相關推薦

2025-04-17 05:00:00

AIOpenAI奧特曼

2022-04-13 08:35:34

糧價上漲大數據

2024-06-24 00:20:00

AI人工智能獎勵篡改

2015-02-10 09:23:15

2017-10-20 12:00:36

Python全局解釋器鎖GIL

2011-06-20 14:42:45

2009-08-19 11:39:38

ASP.NET Rou

2013-01-23 10:20:48

2020-04-10 14:15:27

Ubuntu 20.0Linux命令

2021-05-28 10:10:22

AI 數據人工智能

2012-10-09 10:44:49

大數據管理大數據服務器

2023-09-07 16:23:22

2016-09-23 15:17:27

2023-02-22 09:07:32

微軟AI

2013-09-12 09:45:50

編程垃圾代碼編程文化

2010-11-16 09:07:32

2017-12-21 04:31:38

物聯網技術趨勢

2010-05-17 17:54:17

微軟蘋果失敗

2025-11-03 09:07:00

2025-11-03 09:06:00

點贊
收藏

51CTO技術棧公眾號

日本少妇xxx| 大陆极品少妇内射aaaaaa| 男人天堂视频在线| 亚洲男女av一区二区| 日韩欧美在线网站| 无码人妻丰满熟妇区毛片18| 欧美日韩在线看片| 97成人超碰视| 成人夜晚看av| 在线观看日本视频| 欧美日韩91| 亚洲色图色老头| 一二三区视频在线观看| 亚洲成av在线| 亚洲成人av一区二区三区| 亚洲午夜在线观看| 午夜福利视频一区二区| 国产在线精品免费| 国产福利精品视频| 五月天婷婷综合网| 亚洲最新色图| 在线观看视频亚洲| av直播在线观看| 超碰97久久| 欧美一区二区性放荡片| 午夜激情在线观看视频| 国产资源在线观看入口av| 亚洲精品国产一区二区精华液 | 国产 日韩 欧美 综合 一区| 欧美在线不卡视频| 妺妺窝人体色www在线小说| 尤物yw193can在线观看| 中文字幕一区二区三中文字幕| 久久精品日产第一区二区三区| 精品人妻一区二区三区日产乱码| 蜜臀精品久久久久久蜜臀| 欧美一区三区三区高中清蜜桃| 青娱乐国产在线视频| 久久精品影视| 日韩在线观看免费高清| 国产综合精品久久久久成人av| 色婷婷av一区二区三区丝袜美腿| 亚洲高清在线观看| 91人妻一区二区| 亚洲不卡视频| 日韩欧美激情一区| 伊人av在线播放| 免费观看亚洲视频大全| 欧美一级高清片| 亚洲视频在线不卡| 国产精品亚洲综合在线观看 | 亚洲已满18点击进入久久| 青少年xxxxx性开放hg| 在线a人片免费观看视频| 中文字幕免费不卡| 亚洲三区在线观看| 69久久夜色| 中文字幕第一区第二区| 亚洲国产精品日韩| 欧美成人精品一区二区男人看| 国产精品国产三级国产aⅴ入口| 亚洲欧洲日韩精品| 国产原创在线观看| 亚洲综合久久久久| 男人日女人视频网站| 国产拍在线视频| 一本到一区二区三区| 亚洲一区二区蜜桃| 99久久99九九99九九九| 欧美一区二区三区影视| 在线观看一区二区三区四区| 久久夜色精品国产噜噜av小说| 亚洲国产另类久久精品| av网站免费在线看| 欧美激情偷拍自拍| 久久99久国产精品黄毛片入口| 久久久久久天堂| 亚洲综合电影一区二区三区| 国产精品电影在线观看| 99国产精品一区二区三区| 国产69精品久久久久毛片| 精品一区二区三区日本| 第一页在线观看| 亚洲欧美激情小说另类| 免费无码毛片一区二三区| 另类图片综合电影| 8x8x8国产精品| 久久久国产精品无码| 成人一级毛片| 午夜精品久久久久久久99热| 精品一区二区无码| 国产成人综合亚洲网站| 欧美激情导航| 91麻豆免费在线视频| 欧美日韩国产色| 91丨九色丨蝌蚪| 欧美a一欧美| 久久精品国产久精国产一老狼 | 色婷婷在线影院| 欧美a级片网站| 国产精品99久久99久久久二8| 午夜美女福利视频| 国产精品美女久久久久久久久 | 2023国产一二三区日本精品2022| 艳色歌舞团一区二区三区| 国产精品电影| 日韩精品一区二区三区四区| 久久精品三级视频| 一区二区三区高清视频在线观看| 亚洲www视频| 成人jjav| 欧美午夜久久久| 深夜视频在线观看| 99久久精品费精品国产风间由美 | www.avtt| 国产精品一区二区美女视频免费看| 日韩精品在线视频| 国产一级免费观看| 国产麻豆欧美日韩一区| 日韩久久不卡| 欧美人体一区二区三区| 亚洲国产精品资源| 精品无码av在线| 国产一区二区三区高清播放| 亚洲区一区二区三区| 国产亚洲成av人片在线观看| 欧美mv和日韩mv的网站| 少妇aaaaa| 老司机免费视频一区二区| 久久久亚洲综合网站| 九色91在线| 欧美成人a在线| 国产免费无码一区二区视频| 国产综合久久久久久鬼色| 亚洲欧美国产一区二区| 香蕉视频亚洲一级| 亚洲欧洲日产国产网站| 丁香六月婷婷综合| 2021国产精品久久精品| 国产乱子伦农村叉叉叉| 国内毛片久久| 久久免费在线观看| 欧美一级视频免费| 亚洲超碰精品一区二区| 人妻换人妻a片爽麻豆| 欧美精品黄色| 动漫3d精品一区二区三区| 亚洲丝袜一区| 精品国产乱码久久久久久免费| 国产亚洲精品成人| 99久久精品免费精品国产| www精品久久| 亚洲视频分类| 国产激情久久久| 日本www在线| 日韩欧美一区在线观看| 国产精品99无码一区二区| 99re热视频精品| 国产自偷自偷免费一区| 第九色区aⅴ天堂久久香| 国产有码在线一区二区视频| 在线看福利影| 亚洲精品久久久久久久久| 九九热在线免费观看| 久久久久99精品一区| 天天干天天爽天天射| 欧美独立站高清久久| 96精品久久久久中文字幕| www.综合网.com| 国产亚洲精品日韩| 国产又粗又大又爽视频| 亚洲制服丝袜av| 强伦人妻一区二区三区| 久久99国产精品久久| 大西瓜av在线| 欧美人与拘性视交免费看| 国产精品视频免费在线观看| 18视频在线观看网站| 国产婷婷97碰碰久久人人蜜臀| 欧美男人天堂网| 亚洲免费在线电影| 亚洲欧美日本一区| 久久国产综合精品| cao在线观看| 成人影院在线| 国产高清精品一区二区| av在线一区不卡| 欧美极品欧美精品欧美视频 | 欧美成人在线影院| 青青久草在线| 欧美一区二区三区日韩视频| 视频一区二区三区四区五区| 国产精品国产精品国产专区不蜜| 日本一区二区免费视频| 日本女优在线视频一区二区| 亚洲国产精品成人天堂| 91欧美日韩| 久久久久久国产精品免费免费| 亚洲男男av| 国产91久久婷婷一区二区| 羞羞的网站在线观看| 伊人久久久久久久久久久| 亚洲第一免费视频| 欧美日韩亚洲丝袜制服| 亚洲天堂日韩av| 亚洲嫩草精品久久| 天堂在线中文视频| 99re这里只有精品6| 亚洲成人av免费观看| 日本不卡视频在线| 免费看一级大黄情大片| 国产精品va| 国产精品99久久久久久大便| 九九视频免费观看视频精品| 国产日韩精品一区观看| 伦一区二区三区中文字幕v亚洲| 69**夜色精品国产69乱| 牛牛电影国产一区二区| 欧美成年人网站| 免费网站看v片在线a| 亚洲无av在线中文字幕| 青青草在线免费观看| 亚洲精品在线观看网站| 国内精品久久久久久久久久久| 欧美亚洲一区三区| 国产免费一级视频| 高跟丝袜欧美一区| 日韩av电影网| 亚洲高清不卡在线| 青青草手机在线视频| 专区另类欧美日韩| 99自拍视频在线| 中文字幕一区二区三区四区| www亚洲色图| 国产日韩精品一区二区三区| 91网站免费视频| 久久久久久久久一| 3d动漫精品啪啪一区二区下载| 99国产欧美久久久精品| 黄色短视频在线观看| 97久久超碰国产精品| 久久国产精品影院| 久久久精品一品道一区| 受虐m奴xxx在线观看| 国产欧美精品一区二区三区四区 | 韩国三级在线看| 国产成人aaa| 国产女人18毛片水真多18| av欧美精品.com| 免费a在线观看播放| 久久九九久久九九| 欧美黄色一级生活片| 欧美国产禁国产网站cc| 呻吟揉丰满对白91乃国产区| 中文字幕在线不卡一区二区三区| 成人免费视频入口| 亚洲男同性恋视频| 日本免费观看视| 91成人免费在线| 一本到在线视频| 日韩欧美一级片| 亚洲 小说区 图片区 都市| 亚洲免费视频网站| 日日夜夜精品一区| 欧美成人全部免费| 免费v片在线观看| 国产精品久久久久久久久借妻| 精品美女一区| 不卡一区二区三区视频| 亚洲图区在线| 三年中文高清在线观看第6集| 欧美在线亚洲综合一区| 你真棒插曲来救救我在线观看| 午夜亚洲性色福利视频| 日日噜噜夜夜狠狠| 国产a区久久久| 少妇按摩一区二区三区| 中文字幕一区日韩精品欧美| 精品肉丝脚一区二区三区| 一本久道久久综合中文字幕| 国产一区二区在线视频聊天| 精品久久国产老人久久综合| 国产污视频在线| 欧美裸体xxxx极品少妇| 亚洲精品中文字幕| 91牛牛免费视频| 色88888久久久久久影院| 一区二区三区国| 亚洲深夜av| 一级黄色高清视频| 久久久五月婷婷| 九九热精品免费视频| 欧洲日韩一区二区三区| 成人免费观看在线视频| 伊人av综合网| 国产乱码精品一区二三赶尸艳谈| 国产日韩精品在线播放| 西野翔中文久久精品字幕| 在线观看免费黄色片| 久久精品三级| xxxwww国产| 亚洲精品视频免费看| 中文字幕在线观看视频免费| 亚洲福利视频网站| 久久综合网导航| 国产成人综合精品在线| 国产精东传媒成人av电影| 亚洲在线欧美| 日韩经典一区二区| 蜜臀av一区二区三区有限公司| 一区二区三区在线看| 一级片视频免费| 国产亚洲精品久久久久久| 极品视频在线| 成人精品一二区| 亚洲精品97| 国产一二三四在线视频| 91在线视频免费91| 国产做受高潮漫动| 亚洲成人久久久| 日韩三级电影视频| 91亚洲精品在线| 国产精品7m凸凹视频分类| 黑森林福利视频导航| 99re成人精品视频| 欧美成人aaaaⅴ片在线看| 欧美一三区三区四区免费在线看| 阿v免费在线观看| 国产成人精品久久久| 国产一区日韩| av免费网站观看| 久久影音资源网| 中文字幕一区在线播放| 亚洲欧美日韩成人| 在线免费三级电影网站| 免费av在线一区二区| 亚洲欧美视频一区二区三区| 亚洲久久久久久| 精品日韩美女的视频高清| 天堂中文字幕av| 国语自产精品视频在线看一大j8| 成人香蕉社区| 怡红院av亚洲一区二区三区h| 波多野结衣91| 国产精品一区二区三区四| 亚洲精品99999| 在线成人av观看| 日本精品国语自产拍在线观看| 日韩国产欧美在线观看| 成人黄色免费网址| 欧美日韩久久久| 欧美精品电影| 成人午夜电影在线播放| 亚洲欧洲日本一区二区三区| 艳妇乳肉豪妇荡乳xxx| 欧美日韩免费网站| 可以在线观看的黄色| 国产精品高潮呻吟视频| 国产精品久久久久久久久妇女| 91精品999| 亚洲自拍偷拍图区| 三级av在线播放| 国产精品久久97| 91精品国偷自产在线电影| 国产精品偷伦视频免费观看了| 婷婷成人综合网| 国产高清视频免费最新在线| 国产男人精品视频| 国内揄拍国内精品久久| 99久久免费看精品国产一区| 色视频一区二区| 精品国产丝袜高跟鞋| 国产精品高清一区二区三区| 欧美亚洲三级| 亚洲女同二女同志奶水| 精品久久久久久亚洲综合网| 色偷偷偷在线视频播放| 亚洲一二三区在线| 顶级嫩模精品视频在线看| 日韩一级在线视频| 欧美老少做受xxxx高潮| 国产成人黄色| 绯色av蜜臀vs少妇| 欧美中文字幕亚洲一区二区va在线| 伦xxxx在线| 久久精品国产精品青草色艺| 久久精品国产成人一区二区三区| 久久久久久久黄色| 一本一本久久a久久精品综合小说 一本一本久久a久久精品牛牛影视 | 久久香蕉频线观| 日韩电影不卡一区| 亚洲无在线观看| 色综合天天天天做夜夜夜夜做| 国产成人l区| 青青草国产精品| 国产91在线观看丝袜| 一卡二卡三卡在线观看| 欧美性做爰毛片| 精品av久久久久电影| 国产wwwwxxxx|