
2026/10/26 發布 · 封面為 AI 生成示意圖
一篇貼文能吸引大量按讚,不代表它適合拿來訓練 AI。德州農工大學、德州大學奧斯汀分校與普渡大學研究者合作發表的研究,將特定社群貼文用於模型的持續預訓練,觀察到推理、長篇資訊理解及部分安全測試表現下降。研究以「腦腐」形容這種退化,但它不是生物疾病,也不是說使用者多聊幾句廢話,就會讓聊天機器人永久變笨。這項研究真正值得關注的是:為了抓住人類注意力而成功的內容,可能不是培養模型能力的好教材。
研究改變的是訓練資料,不是聊天內容
這項研究已列為 2026 年語言建模會議 COLM 論文。實驗核心是持續預訓練,也就是拿已經訓練好的模型,繼續用文字資料更新參數,讓它學習新的內容與模式。
這與模型在一次對話中閱讀貼文不同。前者會改變模型參數;後者主要影響當下可用的上下文。研究結果不能直接推論成「叫 AI 整理迷因,會讓它永久失去推理能力」。
資料時間也需要更正。新聞與校方介紹寫到「2010 年」,但使用者提供的論文第三版明確記載,資料集於 2023 年蒐集,包含 2021–2023 年的貼文。本文以論文方法章節為準。
這個區分很重要:研究是在特定訓練條件下測試能力變化,而非直接觀察今日所有商用 AI 使用社群網站後的結果。
互動量衡量吸引力,未必衡量學習價值
研究採用兩種方式挑選資料。一種依貼文長度與互動量,將短小、熱門的內容與較長、低互動內容比較;另一種則依內容是否煽情、淺薄等語意特徵分類。
分開測試的理由,是「熱門」和「低品質」不能直接畫上等號。簡短的科學解釋也可能廣受歡迎,冗長文章同樣可能充滿錯誤。互動數只是平台上的行為訊號,不是知識正確性的認證。
例如,假設兩篇文章都談投資,一篇只有「這次絕對暴漲」,另一篇說明資料來源、假設與可能失敗的條件。前者可能更容易引起情緒與轉傳,但後者提供了更多可供檢查的推導。這是假設情境,並非研究使用的原始樣本,卻能說明兩種選材目標的差異。
我們的分析是,若訓練資料過度依賴互動量篩選,就可能把「人願意停下來看」誤當成「值得模型學習」。研究提醒的,正是這兩種價值之間的落差。
下降的不只是答題分數,還包括回答方式
研究者觀察到,部分錯誤伴隨「跳過推理步驟」:模型沒有展開計畫,或開始推導後未完成必要步驟,就直接給出答案。
但不能把所有簡短回答都視為退化。簡單問題本來就不需要長篇解釋;真正值得擔心的是,題目需要比較條件或追蹤資訊,模型卻漏做必要處理。回答變長,也不保證推理正確。
同樣地,研究中的「記憶」主要涉及長篇上下文中的資訊檢索與理解,不等於人類記憶,也不等於聊天產品的跨對話記憶功能。「人格」與「倫理」則是特定測試下的行為表現,不能解讀成模型真的形成了人類人格。
這使研究的意義更具體:評估訓練更新時,除了看語句是否自然,也需要確認模型能否保留條件、完成推導,以及維持原有安全行為。這些能力可能在表面流暢度未明顯改變時,就已出現差異。
補救未完全成功,不代表已證明永久不可逆
研究測試了反思、指令微調與較乾淨資料的後續訓練。部分方法能改善表現,但在測試範圍內,未能全面恢復原有水準。較強外部模型提供的回饋,也能減少部分推理錯誤。
因此,較精確的結論是「既有補救方法與訓練規模未完全修復」,而不是任何方法都救不回來。重新選擇模型檢查點、調整訓練方式或採用其他資料,仍有研究空間。
另一個限制來自資料定義。以長度、互動量或模型分類建立的組別,仍可能同時存在主題、語氣與文體差異。控制實驗提供了值得重視的證據,但要進一步確認哪些特徵造成多少影響,仍需更多拆解與重現。
研究也沒有直接測試 ChatGPT、Gemini 等封閉商用系統。因此,它能提出風險機制,卻不能證明某個現役產品已經發生相同退化。
我們的觀察
這項研究最有價值的地方,是把「資料品質重要」推進成更具體的問題:社群平台放大的內容特徵,會不會在模型更新時,改變它處理複雜問題的方式?
對開發者而言,值得追蹤的是每次加入新資料後,模型的推理、長篇理解與安全表現是否一起維持,而非只確認它學會更多流行語或近期話題。若能力下滑,應能追溯資料與訓練變更,而不是期待事後微調一定補得回來。
至於 AI 生成內容回流、再被下一代模型學習的惡性循環,目前應視為需要驗證的風險推論,不能把這項實驗當成整個網路已陷入循環的證明。未來若能在更多平台、更大模型與更貼近日常工作的測試中重現,這個警訊才會有更廣的適用範圍。
延伸來源
研究論文第三版:LLMs Can Get “Brain Rot”: A Pilot Study on Twitter/X arxiv.org
研究團隊專案網站:實驗介紹、程式與資料入口 llm-brain-rot.github.io
留言
張貼留言
留言會先經過審核。歡迎補充觀點或來源;請勿張貼廣告、無關連結、成人、賭博、藥品或自動產生的內容。