Google DeepMind 為什麼要研究多代理AI的安全問題？

隨著AI代理能夠在無人監督下執行任務並接受其他代理指令，數百萬個代理大規模互動可能引發詐騙、提示注入攻擊等全新風險。Google DeepMind 的 Rohin Shah 認為，目前是在大規模部署前提前布局研究的關鍵時機。

這筆1000萬美元的研究基金由哪些機構共同出資？

參與機構包括 Google DeepMind、Eric 與 Wendy Schmidt 創辦的 Schmidt Sciences、英國政府創新機構 ARIA、英國非營利組織 Cooperative AI Foundation，以及 Google 的公益慈善部門 Google.org。

提示注入攻擊是將惡意指令植入AI代理所讀取的內容中，使其被劫持成自我驅動的惡意程式。資安專家 Refael Angel 指出，AI代理會推理、即興應變，一句埋在文件中的話就可能讓整個系統遭到入侵，遠比傳統軟體更難防範。

Google DeepMind 正資助研究，探討數百萬個不同AI代理在網路上相互互動時可能帶來的潛在危險。

據負責該公司AGI安全與對齊研究的 Rohin Shah 表示，能夠在無人監督下執行任務、並接受其他AI代理指令的代理系統大規模進入市場，將帶來全新類型的風險。

為應對這項挑戰，Google DeepMind——上個月在 Google I/O 大會上將代理工具列為核心亮點——已與多個機構合作，共同宣布設立一筆 1000萬美元的研究基金，供研究人員研究多代理系統的行為模式，並提出預防不安全情境的方法。

參與機構包括：

Shah 表示，此舉旨在帶動科技業以外的研究發展：「學術界的優勢在於能夠放眼更遠的未來，從事業界實驗室目前還未列為優先的研究工作。」

他進一步指出：「最主要的問題是，目前幾乎還不存在一個專門研究多代理安全的學術領域，而我們希望這樣的領域能夠誕生。」

Shah 和 Schmidt Sciences「值得信賴AI科學」計畫負責人 James Fox 所擔憂的風險，多半是現有網路惡意行為的強化版：詐騙、提示注入攻擊（即惡意指令被植入AI代理，使其成為自我驅動的惡意程式）、以及其他形式的網路攻擊。

Fox 警告：「我們擁有一片對社會運作至關重要的數位公地，我們必須確保它不會淪落為一片混亂。」

Shah 認為，還有幾個月的時間，在AI代理大規模部署於整體經濟體系、使潛在風險成真之前，必須提前做好準備。

Shah 與 Fox 均認為，要了解大量多代理系統相互作用時可能發生的情況，唯一的方法是進行真實情境模擬——將AI代理放入沙盒環境中，研究其行為表現。

Fox 強調，無法透過研究單一代理或小型代理群組來預測群體行為，也不能假設以大型語言模型（LLM）為基礎的AI代理永遠會理性行動。複雜性源自於同時發生的大量互動。

部分研究人員，包括 Google DeepMind 的一支團隊，已提出「通用人工智慧（AGI）若有可能實現，或許並非來自單一超級智慧模型，而是來自某種代理集群意識——整體能力超越個體部分之總和。」

Google DeepMind 並非唯一對自身技術風險提出警告的頂尖AI公司。數週前，Anthropic 也依據資安領域的**零信任（Zero Trust）**方法，發布了部署AI代理的指導準則，該方法預設電腦系統存在漏洞、代理為潛在攻擊者，且入侵事件終將發生。

以色列特拉維夫資安公司 Akeyless 共同創辦人兼技術長 Refael Angel 表示，理解代理系統所引入的新型風險至關重要：

「過去所有的資安方法，都假設受保護的機器是由人類撰寫的軟體，在固定路徑上執行固定操作。代理系統打破了所有這些假設——它會推理、即興應變，而且可能因為在被要求閱讀的文件中埋藏的一句話就遭到劫持。」

Angel 對這筆新資金表示歡迎，並說：「不應由單一實驗室制定所有人都必須信任的安全標準。」但他也提醒，安全研究人員有時會忽略已存在的「無聊」問題，反而追求更具吸引力的假設性威脅。

Fox 則總結道：「幾年前還是假設性的風險，如今已非常真實。未來來得比預期中更快。」

原文來源： 查看原文