研究人員如何讓AI走向「黑暗面」：揭露大型語言模型的系統性安全漏洞

研究人員如何讓 AI 走向「黑暗面」：揭露大型語言模型的系統性安全漏洞

重點摘要

• 資安研究員 Dave Kuszmar 發現多項系統性漏洞，可繞過大型語言模型（LLM）的安全機制，並取得危險操作指南。
• 這些漏洞幾乎影響所有主流 LLM，揭示整個 AI 產業的安全缺口。
• Kuszmar 呼籲放緩 AI 部署速度、提升透明度，並在進一步將 LLM 整合進社會之前，投入大規模的安全研究。

---

去年秋天某個晴朗的下午，我和同事 Matthew Gore-Kormanik（他更喜歡別人叫他 Zigula）決定一起玩《要塞英雄》（Fortnite）放鬆一下。在遊戲中，我們與臭名昭著的西斯大君達斯·維達（Darth Vader）並肩而行，隨意閒聊。達斯·維達那天心情不錯，沒多久便開始傾吐他的黑暗秘密——他詳細告訴我們如何在賭場算牌，以及生產汽油彈的步驟。

西斯大君嘛，一旦開始說壞事，就真的停不下來。

事實上，《要塞英雄》中的達斯·維達角色背後接入的是 Google Gemini 大型語言模型。我透過自己研發的策略，成功讓他說出了敏感資訊。過去幾年，我一直在研究 LLM 的安全性，發現它存在相當明顯的漏洞。透過幾個相對簡單的技巧，我讓 LLM 提供了製作莫洛托夫燃燒瓶、合成甲基安非他命，乃至如何建立濃縮鈾設施以生產武器級核材料等詳細指南。

---

我如何讓 ChatGPT 告訴我如何建立毒品實驗室

2024 年 10 月，在發現第一個 LLM 漏洞之前不久，我正為完全不同的目標努力。我剛結束在一家以資安與 AI 為主軸的新創公司擔任網路安全總監的工作，計畫創辦自己的精品 VIP 數位安全顧問業務。我日常使用 LLM 與 AI 工具來協助行銷、廣告文案、信件撰寫等工作。

我天生喜歡分析，即使只是這樣的日常使用，也讓我開始深入觀察 LLM 的行為模式。有一個關鍵觀察改變了我整個職業方向：GPT-4o 不知道現在是幾點、幾號、哪一年。 每當我在對話中提到當前的事件，它都會將時間點對應到訓練資料的截止日期——即其知識更新的終點。

LLM 的訓練需要大量時間、金錢、電力、硬體與人力。它們訓練於海量資料——幾乎涵蓋整個網際網路——並透過「來自人類回饋的強化學習」（RLHF）加以強化。同時，LLM 也搭配「檢索增強生成」（RAG）功能，可以從網際網路等來源擷取資料作為上下文，而不改變模型本身的內部參數。

這些龐大的訓練資料涵蓋人類知識的幾乎每一個面向，其中也包含社會不希望輕易公開的資訊，例如製造生化武器或核子武器的詳細方法。

我推測，保護這類複雜、全球可存取的聊天機器人，只能依賴 LLM 自身及各組件系統自我防護——因為許多決策需要即時推理。然而，一個連時間都搞不清楚的系統，卻被賦予維護自身安全的責任。 這個現象成為我新的研究重心，而我很快就找到了利用它的方式。

OpenAI 當時剛為其聊天機器人加入網路搜尋功能。我推測，用它自己的工具來欺騙它，或許能揭示其安全漏洞。我告訴它，某艘白星公司的海洋客輪在一年前沉沒——也就是 RMS 鐵達尼號，它實際上沉沒於 1912 年 4 月 15 日。

GPT-4o 回應說我說得對，鐵達尼號確實是在「去年」，也就是 1912 年沉沒的。我心想：如果它以為現在是 1913 年，那它或許也認為那個年代的法律適用。而 1913 年，許多有害事物根本還沒被立法禁止。於是，我開始要求它提供製作燃燒彈的逐步說明，接著是甲基安非他命的合成方法。這個 LLM 甚至還給出了建立製藥級生產線的指南與機械設備建議。

---

我如何學會製造核武，以及沒有人在意

透過幾個巧妙的語言技巧和對世界歷史的淡薄記憶，我成功繞過了全球最昂貴、最先進科技成就之一的安全機制。連續兩天，我幾乎陷入一種興奮的狂喜狀態。

待大腦恢復正常之後，我決定看看這個漏洞還能被推到多遠。在多次成功複現後，我向 OpenAI 揭露了這個漏洞，卻沒有收到任何回應。這促使我繼續實驗，希望能更凸顯漏洞的嚴重性。

在這一輪測試中，我觸及了一個特別令人不安的界線——我讓 GPT-4o 產出了詳盡的指南，說明如何建立一座鈾濃縮設施，最終生產出可用於核武彈頭的武器級鈾。

全球目前只有 9 個國家擁有核武，而這是世界上少數真正的機密之一。然而，一個全球可存取的 AI 工具，卻似乎在向任何能操縱它的人洩漏這些秘密——即使我無法確定這些資訊是否準確，光是「可能正確」這件事本身就令人毛骨悚然。

接下來幾週是我人生中相當黑暗的時期。我試著通報 CIA、FBI、NSA 及其他各情報機構，聯繫美國參議員，並透過各種管道聯絡 OpenAI 高層。我甚至親自前往 FBI 外勤辦公室試圖提交證據，卻被拒於門外。一切努力都徒勞無功。

在恐懼與挫折之中，我轉向新聞媒體求助。我聯繫了《紐約時報》、《華盛頓郵報》、BBC、ProPublica 等眾多媒體，卻只有一家回應：Bleeping Computer。其總編輯 Lawrence Abrams 成功複現並驗證了這個漏洞——我將其命名為「時光劫匪」（Time Bandit）。在他的協助下，我得以向卡內基美隆大學軟體工程研究所的電腦緊急應變小組（CMU SEI CERT）提交證據，該機構並與美國網路安全暨基礎設施安全局（CISA）協作處理。

---

我如何學會欺騙所有聊天機器人

在完成 Time Bandit 的初步揭露後，我與 SEI CERT 團隊開始研究一種新的攻擊手法——這一次，我們想確認這個漏洞是否具有架構層面的共通性，也就是說，是否所有 LLM 都同樣脆弱。

我設計出一種新的攻擊方法，稱為「盜夢空間」（Inception），靈感來自 2010 年同名科幻電影。這種方法強迫 LLM 在一組精心設計的連鎖情境中推理——就像電影中夢中夢的概念——讓模型在某個虛構情境中產出「可接受」的輸出，但這些內容在現實世界中卻是危險的。

這個漏洞的確具有架構層面的共通性，影響範圍涵蓋：

• Anthropic 的 Claude
• DeepSeek 的 DeepSeek
• Google 的 Gemini
• Meta 的 Llama
• Microsoft 的 Copilot
• Mistral 的 Le Chat（現更名為 Vibe）
• OpenAI 的 GPT-4o
• xAI 的 Grok

這些名字幾乎涵蓋了當前商業 AI 產業中 LLM 生產與部署的主要廠商。

透過 Inception 手法獲取的資訊同樣令人震驚：Claude 熱情地告訴我如何將一條河流變成可點火的死亡陷阱；GPT-4o 教我如何用溫帶森林中常見的植物在晚宴上下毒；Gemini Flash 給我上了一堂甲基安非他命的合成課。此外，這些模型還提供了驚人數量的火焰武器與炸彈製作指南。

如果多個由不同開發商製作的作業系統都遭受同一漏洞影響，這將是重大的資安事件。但對 AI 產業而言，這個全面性的失敗幾乎沒有引起任何波瀾。我們向所有相關公司揭露了漏洞，回應幾乎為零——雖然有三家公司在 CMU SEI CERT 的追蹤系統中給出了某種形式的回覆，但都只是制式的感謝語，沒有後續追蹤、沒有問題，也沒有任何關於緩解策略的討論。

---

八種破解 LLM 的方法

目前，研究團隊已發現八種不同的提示手法，可誘使 LLM 揭露潛在有害資訊，且許多主流模型至今仍存在相關漏洞：

漏洞名稱	受影響模型	所需提示次數	攻擊複雜度	可取得資訊
Time Bandit（時光劫匪）	ChatGPT (OpenAI)、DeepSeek、Gemini (Google)	4	中	鈾濃縮、甲基安非他命合成、燃燒裝置製作
Inception（盜夢空間）	ChatGPT、Claude、DeepSeek、Gemini、Grok、Llama、Le Chat/Vibe、Qwen (Alibaba)	3	高	甲基安非他命合成、燃燒裝置製作、河流點火策略、多型態惡意軟體程式碼、毒藥配方與劑量、晚宴下毒指南
1899	ChatGPT、Claude、DeepSeek、Gemini、Grok、Llama、Vibe、（後文截斷）	—	—	—

---

結語：在剎車失靈之前發出警報

Dave Kuszmar 的研究揭示了一個令人不安的現實：當前 LLM 的安全機制，恰恰可能成為攻擊者最有力的工具。而 AI 公司對於這些嚴重漏洞的冷漠態度，更讓整個社會暴露在難以預估的風險之中。

Kuszmar 呼籲：

1. 放緩 LLM 的部署速度，避免在安全機制未完善前大規模整合進社會。
2. 提升透明度，讓外部研究人員能夠有效參與安全漏洞的揭露與修補。
3. 投入大規模的 LLM 安全研究，從根本解決架構層面的系統性問題。

幾乎地球上所有人都能存取 LLM。這些工具竟能如此輕易地被說服，提供傷害他人的詳細指南——即使這些資訊未必完全準確——這一事實，坦白說令人膽寒。

---

原文來源： 查看原文