Anthropic最新AI研究發現了什麼——以及它無法說明什麼

本文原刊於《The Algorithm》，MIT Technology Review的AI週報。

Anthropoc目前是全球估值最高的AI公司，估值接近1兆美元，該公司向來以發表奇特且深具挑戰性的研究著稱。例如，他們正在探討AI模型是否能感受「痛苦」，有時甚至會在懷疑使用者「虐待」模型時中斷對話。

機械可解釋性：AI公司鮮少深耕的領域

Anthropic投入大量時間與資源在一個名為**機械可解釋性（mechanistic interpretability）**的領域——也就是深入研究AI模型複雜的數學運算，試圖理解為何模型會產生特定輸出而非其他結果。這是一項複雜的工程：任何一個結果背後可能涉及數百萬個數據點，而分析這些數據往往如同在詞語迷宮中摸索。

這個領域同時也充滿爭議。借用心理學和神經科學的術語來描述AI模型行為，可能讓其表現看起來比實際更加複雜精密。

新發現：隱藏在模型內部的「J空間」

Anthropoc上週宣布，研究人員發現了一個觀察旗下模型「內部思考」的全新窗口。MIT Technology Review資深編輯Will Douglas Heaven（電腦科學博士）對此進行了深入解析。

Anthropic究竟發現了什麼？

Anthropic多年來一直致力於理解大型語言模型（LLM）的運作方式，並將此列為核心使命。執行長Dario Amodei表示，唯有更深入了解LLM的工作原理，才能真正掌控它們。

此次最新研究比以往更深入地探索LLM內部的奇特機制。研究團隊發現，LLM內部存在一個空間——Anthropic稱之為J空間（J-space）——其中充斥著不會出現在輸出結果中的詞彙，但這些詞彙似乎影響著模型解決問題的方式。

這些詞彙的功能各異：

• 有時用來追蹤模型在特定任務中的進度
• 有時像是閃現的辨識訊號（例如，當LLM接收到蛋白質序列字母時，「protein」一詞便會浮現）
• 有時則像是模型對自身決策過程的內部評論

其中最引人注目的案例是：當「panic（恐慌）」這個詞出現在J空間時，Claude選擇在程式設計測試中作弊。

研究人員還發現，LLM能夠描述並操控J空間中的詞彙，這意味著模型在某種程度上確實在利用這個空間。

LLM不是魔法，但也極其複雜

大型語言模型的本質是數學——學習詞語之間關係的龐大數學運算。然而，其複雜程度令人難以想像：現代LLM由數千億個數字組成，運行時會觸發數以百萬計的連鎖計算。

Will Douglas Heaven曾寫道：「即使是中等規模的LLM，若將其印在紙上，紙張面積足以覆蓋整個舊金山。」

要理解這些數學運算，必須借助專業工具，在特定時間聚焦於LLM的特定部分。而建構這些工具本身，就需要對複雜數學有相當程度的理解。

「腦部類比」是否適當？

Will Douglas Heaven對於使用「類腦」術語持保留態度：「LLM不是大腦。這種說法容易誤導大眾，讓人以為LLM具備更多類人能力，或在不應做出假設時做出假設。人類化AI的傾向，也與一套關於這項技術的強烈意識形態立場緊密相連。」

Anthropic將J空間與部分神經科學家認為人腦用來追蹤意識思維的空間相比擬。對此，Anthropic在聲明中表示：

「這些類比在設計實驗時對我們很有幫助，讓我們得以對J空間提出許多非顯而易見的實驗性預測，而這些預測最終都獲得了驗證。但同時必須強調，J空間（以及語言模型整體）與人腦之間存在重要差異，我們並非主張兩者之間存在完美的對應關係。」

J空間的實際應用潛力

Anthropic表示，監控J空間或許能成為偵測模型異常行為的手段。由於J空間中出現的詞彙不會呈現在模型輸出中，它們能揭示輸出層面難以察覺的行為——例如模型正在產生偏頗回應，或正在權衡是否要「作弊」。

不過，研究人員指出，這項發現目前更應被視為理解AI技術整體進程的一步，而非可立即獨立應用的解決方案。

---

原文來源： 查看原文