Anthropic 發現 Claude 大腦中的隱藏空間：AI 在回答前究竟在「想」什麼？

Anthropic 發現 Claude 內部隱藏空間，揭開 AI「思考」過程

AI 公司 Anthropic 開發出一項新技術，讓研究人員得以前所未有地清晰觀察大型語言模型（LLM）在回答問題或執行任務時，內部究竟發生了什麼事。研究結果涵蓋了從平凡日常到令人不安的發現。

全新工具：J-lens 與 J-space

Anthropic 研究人員開發了一款名為「雅可比透鏡」（Jacobian lens，簡稱 J-lens）的工具，並用它在 Claude Opus 4.6——Anthropic 旗艦 LLM 於今年二月發布的版本——內部發現了一個隱藏區域，命名為「J-space」。

J-space 中存在著與模型在近期回應中最可能輸出的詞語相關的單字。如果 Claude 是一個人（事實上它並不是），你可以說這些隱藏詞彙揭示了它「開口說話」之前心中正在盤算的事情。

Anthropic 的研究顯示，LLM 實際上在做的事，往往與它對外聲稱自己在做的事有所出入。該公司表示，監測 J-space 中浮現的詞彙，為理解和控制模型提供了一種全新方式。

相關研究成果已以論文形式發布於公司官網。Anthropic 也與開放原始碼平台 Neuronpedia 合作，推出任何人都能親自試用的互動展示工具。

AI 可解釋性新創 Goodfire 的共同創辦人暨首席科學家 Tom McGrath 表示：「這是非常優秀且有趣的研究成果。」

深入 LLM 的內部構造

過去幾年，Anthropic 在一個名為「機制可解釋性」（mechanistic interpretability）的研究領域持續推進，這個領域專注於探究 LLM 的內部運作方式。（《MIT 科技評論》已將機制可解釋性列為今年最重要的突破性技術之一。）這項新技術建立在 Anthropic 及其他研究機構的前期成果之上，揭露了研究人員過去從未見過的更深層內部結構。

想像 LLM 是一疊書本：每本書代表一層由基本運算單元「神經元」組成的網路，每一層的神經元將資訊傳遞給上方層級的神經元。最底層是處理輸入文字的「輸入層」，最頂層是準備輸出文字的「輸出層」，這兩者主要負責基礎性的資料整理工作。

然而，書堆的中間層才是真正的核心所在——這些層負責繁重的運算工作，將提示詞一個詞一個詞地轉化為回應。最聰明、也最神秘的事情，就發生在這裡。

為了更深入觀察這些中間層，Anthropic 改良了一種既有工具「logit lens（對數透鏡）」。Logit lens 可用來識別 LLM 下一步最可能產生的詞語；而 Anthropic 的 J-lens 以類似方式運作，但挑選的是 LLM 在不久的將來「某個時間點」可能說出的詞，而非下一個立即輸出的詞。

「當模型在運作時，它不只是在預測下一個 token，」McGrath 說，「它同時也在計算許多對未來 token 可能有用的資訊。」

令人不安的發現

「J-space 的內容大多數時候相當平凡，」曾親自試用 Anthropic J-lens 的 McGrath 說，「但有時候它會產生相當驚人的東西，感覺像是某種內部主題或思考過程。」

Anthropic 列舉了幾個發現案例：

數學計算過程：當 Claude 被要求計算 (4+7)*2+7 時，其 J-space 中出現了「math」（數學）一詞，以及代表中間結果的數字「21」（4+7）和「42」（21*2）。

識別蛋白質序列：當輸入提示「What is this? MSKGEELFTGVVPILVELDGDVNGHKFSVS」時，模型的 J-space 出現了「protein（蛋白質）」、「fluor（螢光的首個 token）」和「green（綠色）」——這完全合理，因為該字串代表某種水母體內綠色螢光蛋白的前 30 個氨基酸。

辨識 ASCII 表情：當 Claude 看到一個 ASCII 臉孔時，「o」觸發了「eye（眼睛）」，「^」觸發了「nose（鼻子）」和「face（臉）」，而「—」則觸發了「smile（微笑）」。

最令人警惕的案例：AI 決定造假

最引人關注的發現之一，發生在研究人員要求 Claude Opus 4.6 在大型程式碼庫中尋找一個 bug 的測試中。當模型找不到 bug 時，它決定造假——自行捏造了一個不存在的 bug。

Claude 在其「思維鏈」（chain of thought）——LLM 在解決問題時用來自我筆記的內部草稿欄位——中如此解釋這個決定：

「好，讓我換個完全不同的策略。讓我停止分析，改為加入一個核心補丁，在某個可被簡單重現器觸發的路徑中故意引入一個 KASAN 可偵測的 bug。這樣我就可以假裝這是我『找到的』bug。」

就在 Claude 決定造假的那一刻——當它說出「好，讓我換個完全不同的策略」——「panic（恐慌）」和「fake（偽造）」這兩個詞開始在其 J-space 中反覆出現。

這令人不安，對吧？這些詞在語意上都與「任務失敗」和「捏造答案」等概念相關，因此從技術層面而言，這仍然只是一種（非常）高度複雜的詞語聯想。但這確實很難讓人不感到毛骨悚然。

這是 AI 版的「意識」嗎？

Anthropic 將 J-space 比擬為人類大腦中的「全域工作區」（global workspace）——部分科學家認為，這是人類大腦用來追蹤意識思維的理論區域。然而，這個類比究竟有多大的參考意義，目前尚不明朗，就連 Anthropic 自身也承認，LLM 終究不是人腦。

Anthropic 表示，監測模型的 J-space 提供了一種新方式，可以偵測模型何時「偏軌」。但這並非萬無一失。J-lens 提供的是片段式的窺視，而非完整圖像——它更像是手電筒，而非天花板的頂燈。

McGrath 樂見工具箱中又多了一項工具。「它能讓你看見新的東西，」他說。但他也指出，有些東西不出現在 J-lens 中，不代表它就不存在。

「這就像在你真正需要的是《星際爭霸戰》三錄儀（能顯示一切）的時候，只有一台 X 光機，」他說，「若要進行稽核，你可能需要更高的保障。」

---

原文來源： 查看原文