重新思考人工智慧在戰略前沿的角色：從AI自主決策到人機協作的信任課題

編者按

本文出自「安全與防衛PLuS新銳觀點系列」，該系列旨在彰顯塑造戰略、安全與國防思維的新一代學者與實務工作者。系列匯集博士候選人與早期職涯研究者的觀點，立基於21世紀複雜的地緣政治現實。

該系列探討一種「韌性網格」（Latticework of Resilience）概念，將次國家外交與農業安全等關鍵基礎設施等經常被忽略的領域，與國家安全核心連結起來。這些論文共同強調，在日益複雜的全球環境中，建立韌性需要適應性與跨領域的方法。

新銳觀點系列的首場活動於2026年3月2日在亞利桑那州立大學舉行，後續活動將在倫敦國王學院與新南威爾斯大學接續舉辦。

---

從人工智慧到人機混合智慧

人工智慧（AI）作為戰略前沿，通常被以技術角度定義——演算法能力、規模與速度。然而，AI的戰略影響主要不在於其「人工」特性，而在於它如何在個人與組織層面上，改變我們對「智慧」的理解。

AI在當今智慧思維中的突出地位，可追溯至一戰與二戰時期的自主（或「無人」）系統概念，讓人們能更快速、更精確地工作。Norbert Wiener在1940年代創造了「控制論」（cybernetics）一詞，指的是生物與人工系統之間的互動迴路。1950年代，Paul Fitts列舉了哪些物理與認知任務「人類比較擅長、機器比較擅長」——這份清單至今仍常被引用，簡稱「MABA-MABA」。然而早在1960年，J.C.R. Licklider就已推測，AI的進步將帶來「人機共生」，他認為「人類與電腦密切合作……應該會成為人類歷史上智識最具創造力、最令人興奮的時代」。

換言之，人與機器能共同達到超越個體潛力的智慧水準，這個概念並不新鮮。改變的是所涉系統的本質。「AI」越來越多地與演算法模型連結，而這些模型的內部運作方式，對預期使用者而言並不容易解讀。隨著AI系統更深入嵌入決策流程，終端使用者——例如無人機操作員或執法人員——對決策生成方式的直接控制力下降，但他們仍然需對結果負責。這產生了所謂的「責任落差」，但如此框架反而可能掩蓋根本問題。問題不僅在於AI系統不透明，而在於它們被視為人類決策的外部工具，但實際上卻與人類決策密不可分。

毫不意外地，越來越多人擔心這些限制將導致人類被完全排除在決策迴路之外，轉而由全自主系統取代。然而，法律與倫理限制——特別是在國家安全與戰爭等攸關安全的領域——排除了對重大決策進行全面自動化的可能性。因此，挑戰不在於防止人類參與被消除，而在於：人類與AI共同決策意味著什麼？我們如何確保這以值得信賴的方式進行？

從信任到AI系統的可信賴性

在人因工程與人體工學領域，設計可信賴性傳統上有雙重焦點。首先是創建在特定任務上高度可靠的自動化系統；其次是訓練人類使用者適當依賴自動化——理解其運作方式及可能故障的時機與方式。因此，長期以來，回答「使用者對自動化的信任程度是否適當？」就足以作為評估人機決策單元可信賴度的代理指標。

如今，幫助使用者適當信任AI仍然是跨領域的重要且快速發展的研究方向。例如，DARPA的「可解釋AI」（XAI）計畫等大規模研究，致力於開發能為使用者提供AI決策邏輯啟發式資訊的演算法。人因工程與心理學研究者持續產出大量關於人類對AI信任的指標與方法。因此，主流的AI設計指南強調透過透明度來提升使用者信任（如Google的People + AI指南）。但與此同時，有大量證據顯示，透明的AI設計可以增加使用者信任，卻未必真正提升決策品質。在國安與國防應用中，弱點往往被高度精準的攻擊所利用，不當信任與不信任同樣危險。太容易被信任的系統可能較少受到審視，使錯誤更可能在為時已晚時才被發現。

1984年美國文森號巡洋艦（USS Vincennes）擊落伊朗航空655號班機，以及2006年愛國者飛彈誤擊友軍等歷史事件，都凸顯了因系統設計方式而過度信任所帶來的災難性風險。

在快速、數據密集型決策成為常態的時代，僅靠設計適當依賴性的雙重焦點已不足夠。AI如此核心於這一新常態，「可信賴性」現在更適合透過人類與AI輸入的緊密交錯序列來理解。換言之，可信賴性不再是個別使用者對機器可靠性態度的副產品，而是集體整體的屬性——這就是為何「人機團隊協作」（human-AI teaming）已成為國家安全研究的核心概念。

從以人為中心、以AI為中心到以互動為中心

將互動作為設計與評估的基本單位，需要轉變我們對AI系統開發與評估的方法。以互動為中心的方法不是將以人為中心和以AI為中心的設計視為獨立範式，而是明確連結兩者，理解設計決策在實踐中如何做出。

以互動為中心的設計

以互動為中心的設計意味著超越「AI系統應提供使用者什麼資訊」或「什麼底層AI架構將構成系統」的問題。許多當前的可信賴AI方法（如可解釋AI）假設，為使用者提供AI推理的洞察將帶來更好的決策。然而，設計決策必須考量人機互動式決策在操作情境中如何發生。

這需要兩個以互動為中心的設計轉變。第一，人機互動本身必須被視為主要的設計成果，而非僅是決策發生的機制。第二，設計過程本身也必須是互動式的，使設計理念穩固地建立在決策實際展開的方式上。

舉例而言，AI透明度通常透過視覺化、數值信心分數或自然語言解釋等功能來實現。數十年研究顯示，人們不僅根據不確定性資訊本身來解讀機率估計，還會結合自身的任務專業知識。但這些設計選擇通常由開發者做出，而他們對AI流程的心智模型與終端使用者有相當大的差異。

舉個具體例子：告訴一位受過訓練的人員「AI對其輸出有90%信心」意味著什麼？對機場安檢人員來說，在評估行李是否真的無威脅時，這個數字可能太低——漏檢的代價是災難性的。因此，儘管數字很高，他們仍可能標記物品進行人工檢查。相反地，分診醫師可能認為同樣的估計對診斷建議來說高得不合理——在預期存在不確定性且過度自信可能危險的情境中。在這兩種案例中，這些解讀還可能因使用者需要做多少額外決策而改變。問題不僅在於使用者可能誤解數值輸出，而在於其意義與出現的情境密不可分。

國安與國防研究可以借鑑其他安全關鍵領域的參與式設計傳統。例如，醫療「智慧型」輸液幫浦的研究顯示，安全功能最好與終端使用者共同設計，以防止裝置設計與現有臨床流程之間的落差。這突顯了一個關鍵原則：如果目標是實現與AI共同做出可信賴的決策，系統設計者與利害關係人必須積極合作，確保最終設計不會損害第一線工作人員或阻止他們長期使用AI系統。

以互動為中心的評估

如果互動是設計的基本單位，它也必須是評估的基本單位。然而目前，AI系統主要在模型層面使用基準指標進行評估，比較標準化任務的性能。這些基準對追蹤演算法進步至關重要，但對於基礎模型的進步如何影響人機單元在真實決策環境中的表現，提供的洞察有限。

以2021年8月美國在喀布爾的無人機打擊為例——原本目的是消除ISIS迫在眉睫的威脅——卻在一輛車輛被快速移動的情報與監控流程中誤判後，造成十名平民死亡，包括七名兒童。這場悲劇凸顯了失敗不僅來自錯誤數據，更來自資訊在時間壓力下如何被解讀與行動。隨著AI輔助瞄準日益普及，越來越需要能捕捉此類系統如何影響操作員所見、所優先考量及所行動的評估指標。

同時，在真實人機迴路環境中評估AI系統所需的基礎設施成本高昂且難以擴展。受控的人體實驗提供了有價值的洞察，但資源密集且往往遠落後於演算法創新的速度。

推進以互動為中心的評估方法可解決這些挑戰。首先，它將推動開發以觀察到的互動數據為基礎的評估方法，補充純演算法基準。DARPA的「人工社會智慧成功團隊」（ASIST）和「人機團隊探索模型」（EMHAT）計畫探索了以模擬環境進行各種人機團隊協作的協調與社會推理。美國空軍的「人機團隊決策優勢衝刺」（DASH）活動則提供了如何結構化以互動為中心的評估的模型，將商業AI開發者與應用研究者聚集在一起，引導未來作戰技術的發展。

結論

作為國家安全與國防的戰略前沿，AI從根本上關乎增強在當今風險與衝突環境中「智慧」的含義。這歸結為AI最終必須貢獻的：不僅因為有效和高效而更值得信賴的決策，更因為它們在倫理上支持國安人員與他們所服務保衛的人民。今日的AI系統已將我們帶到Licklider「人機共生」時代的臨界點。使這種共生關係成為可能的互動，必須成為創新的焦點，而非僅是創新的隱性副產品。數十年的研究與開發已為此變革奠定了堅實基礎。我們必須持續橋接演算法創新與真實世界影響，邁向人機決策能建設而非危害全球安全的未來。

---

本文首發於Small Wars Journal，作者隸屬亞利桑那州立大學。

---

原文來源： 查看原文