從被動防禦走向自主防禦：AI 時代資安技術的發展趨勢與四大關鍵方向

— 聚焦 AI SOC、AI Agent Security、AI Red Team 與 AI Supply Chain Security

摘要

隨著生成式人工智慧（Generative AI）與代理式人工智慧（Agentic AI）快速發展，人工智慧正逐步從資訊分析與內容生成工具，轉變為能夠自主規劃、呼叫外部工具及執行複雜任務的軟體系統。這項轉變不僅帶動產業生產力提升，也使資訊安全面臨新的挑戰。

一方面，攻擊者可利用 AI 提高漏洞分析、社交工程、惡意程式開發及攻擊自動化的效率；另一方面，企業內部部署的 AI 系統，也可能因提示注入、工具權限濫用、模型污染或供應鏈漏洞，成為新型態的攻擊入口。

因此，未來資安技術的發展將不再侷限於傳統的網路邊界防護、入侵偵測及事件應變，而是逐步朝向以 AI 為核心、具備持續監控、智慧分析、主動驗證及受控自主應變能力的新一代資安架構。

本文提出四項值得優先關注的技術方向，包括自主式資安維運（AI SOC / Autonomous SOC）、AI 代理安全（AI Agent Security）、AI 紅隊與自動化弱點測試（AI Red Team），以及 AI 供應鏈安全（AI Supply Chain Security），探討其技術發展趨勢、關鍵挑戰及產業投入機會。

一、AI 技術演進正在改變資安攻防模式

過去的網路資安防禦，多建立在已知漏洞、惡意程式特徵、網路流量規則及異常行為分析等技術基礎上。企業通常透過防火牆、入侵偵測系統（IDS）、端點偵測與回應（EDR）、安全資訊與事件管理（SIEM）等機制，識別威脅並執行防禦。

然而，AI 技術的普及，使攻防雙方的能力與成本結構開始產生變化。

對攻擊者而言，生成式 AI 能夠協助分析軟體程式碼、辨識潛在漏洞、生成更具針對性的社交工程內容，並加速攻擊工具及腳本的開發。當 AI 進一步結合自動化工具與代理系統時，也可能協助攻擊者執行多階段的偵察、測試及攻擊流程。

對防禦者而言，AI 則提供了改善傳統資安維運效率的機會。透過機器學習、大型語言模型（LLM）、威脅情報及自動化編排技術，可協助資安人員分析大量日誌、關聯異常事件、還原攻擊路徑，進而縮短威脅判斷與事件應變所需的時間。

更值得關注的是，隨著企業逐漸將 AI Agent 導入內部營運，AI 不再只是被動回應使用者問題，而是可能取得資料庫存取、電子郵件傳送、程式執行、雲端資源管理等實際操作能力。

在此情境下，資安防護的對象也從傳統的使用者、設備與應用程式，延伸至 AI 模型、代理系統、外部工具、資料來源及模型供應鏈。

這意味著，AI 時代的資安必須同時處理兩項核心課題：如何防禦攻擊者利用 AI 強化網路攻擊，以及如何確保組織自身的 AI 系統不會遭到操控或濫用。

二、四大 AI 資安關鍵技術發展方向

（一）AI SOC / Autonomous SOC：從人工分析走向智慧化資安維運

安全營運中心（Security Operations Center, SOC）長期面臨告警數量龐大、事件關聯分析困難、專業人員不足，以及威脅處置時間過長等挑戰。

AI SOC 透過導入機器學習、生成式 AI 與安全編排自動化技術，協助資安團隊提升威脅偵測、事件調查及應變效率。

其技術演進大致可區分為三個階段。

第一階段為 AI-Assisted SOC（AI 輔助型資安維運），主要利用 AI 整理安全日誌、摘要告警事件、查詢威脅情報及提供處置建議，協助分析人員降低重複性工作負擔。

第二階段為 AI-Driven SOC（AI 驅動型資安維運），進一步整合端點、網路、身分驗證與雲端環境等多元資料來源，利用 AI 進行跨系統事件關聯、攻擊路徑分析、威脅優先順序判斷，並觸發預先定義的應變流程。

第三階段則朝向 Autonomous SOC（自主式資安維運） 發展，運用 AI Agent 執行多步驟事件調查、蒐集證據、呼叫安全工具，並在受到明確授權及政策限制的情況下，自動執行部分防禦措施。

例如，當系統偵測到疑似帳號遭竊、異常登入及大量資料存取等行為時，AI SOC 可協助關聯不同設備與服務的紀錄，分析事件是否具有共同攻擊來源，並依既定規則建議或執行帳號限制、端點隔離等措施。

然而，自主式 SOC 的發展仍面臨三項關鍵挑戰。

首先，AI 分析結果可能存在誤判或錯誤推論，若直接與自動阻擋機制連動，可能造成正常業務中斷。其次，AI 產生的威脅判斷應具備可追溯的證據及分析依據，以利資安人員確認。最後，必須建立不同風險等級的自動化授權機制，避免 AI 在缺乏適當控制的情況下執行高衝擊操作。

因此，自主式 SOC 的發展重點，並非完全取代資安人員，而是建立人機協作、分級授權及可稽核的智慧化防禦體系。

（二）AI Agent Security：建立代理式 AI 的安全控制與信任機制

相較於傳統 LLM 應用主要處理文字輸入與輸出，AI Agent 更進一步具備任務規劃、工具呼叫、跨系統資料存取及自主執行能力。

當 AI Agent 透過 API、Model Context Protocol（MCP）或其他工具整合機制，連接企業內部資訊系統時，AI 便可能從資訊處理元件轉變為具備實際執行權限的系統主體。

這項轉變，使 AI Agent Security 成為新興且重要的資安技術領域。

其中，提示注入攻擊（Prompt Injection）是具有代表性的威脅之一。攻擊者可能將惡意指令隱藏於電子郵件、網頁、文件或檢索資料之中，誘導 AI Agent 將外部內容誤認為具權威性的操作指令，進而偏離原定任務。

若 AI Agent 同時具有檔案讀取、資料庫查詢、外部網路存取或系統指令執行權限，便可能造成敏感資訊外洩、未授權操作及系統服務受損。

此外，代理式 AI 也涉及工具濫用、身分與權限管理、記憶與上下文污染、Agent 間通訊安全，以及多代理系統的連鎖失效等問題。

為因應上述挑戰，AI Agent Security 應優先發展四項技術能力。

第一，AI Agent 身分與權限控管。 建立每個 Agent 的獨立身分、最小權限、短效憑證與細緻化授權機制，確保 Agent 僅能存取執行任務所需的資源。

第二，工具呼叫安全驗證。 對 Agent 使用外部 API、資料庫、程式執行環境及 MCP 工具的行為進行政策檢查，防止未授權的高風險操作。

第三，執行期間安全監控。 透過 AI Firewall、行為分析及執行階段監控，偵測提示注入、異常工具呼叫、敏感資料外傳及任務目標遭劫持等風險。

第四，安全隔離與人工核准。 對於涉及資料刪除、權限異動、金流操作及重要系統設定等高風險行為，應採用隔離執行、明確授權及人工核准機制。

值得注意的是，AI Firewall 與模型安全過濾器只能構成多層防禦的一部分，不能取代應用程式原有的身分驗證、權限控制及安全隔離。

未來 AI Agent Security 的核心，將是建立一套能夠持續驗證 AI 行為、控管執行權限並追溯操作責任的安全架構，使 AI 系統即使受到惡意誘導，也無法輕易突破預先設定的安全邊界。

（三）AI Red Team：從定期滲透測試走向持續性安全驗證

傳統資安檢測通常透過弱點掃描、滲透測試與紅隊演練，識別系統中的安全缺陷。

然而，生成式 AI 與 Agentic AI 系統的輸入具有高度變化性，模型行為亦可能隨提示內容、上下文、模型版本及工具設定而改變，使單次或定期測試難以全面掌握安全風險。

AI Red Team 的核心目的，是以攻擊者視角，系統性測試 AI 系統在對抗性情境下的安全性、穩健性及防護能力。

在技術發展上，AI Red Team 不僅可利用 AI 輔助建立測試案例，也能透過自動化測試平台，反覆評估系統面對不同攻擊手法時的反應。

其中，值得關注的技術包括提示注入測試、模型越權行為驗證、資料外洩測試、對抗樣本生成、RAG 資料污染測試，以及 Agent 工具呼叫與權限邊界測試。

針對更具自主能力的 AI Agent，紅隊測試亦應涵蓋多步驟任務、外部工具互動及跨代理系統的攻擊情境，以評估系統是否可能在執行正常任務的過程中，因惡意輸入而產生非預期行為。

MITRE ATLAS 已提供針對 AI 系統的攻擊戰術與技術知識庫，可與 MITRE ATT&CK 互補，作為建立測試情境、威脅模型及攻擊驗證程序的重要參考。

未來發展方向，是將 AI Red Team 從單次安全檢測，進一步整合至 AI 系統開發、部署及維運生命週期，建立持續性 AI 安全驗證機制。

例如，企業在更新 LLM、調整 RAG 知識庫、導入新的 MCP 工具或增加 Agent 權限時，可自動執行既有安全測試集，確認變更是否引入新的安全缺陷。

此類技術的主要挑戰，包括測試案例覆蓋率、攻擊結果可重現性、真實風險判斷，以及測試環境與正式環境的差異。

因此，AI Red Team 的技術成熟度，不應僅以生成多少攻擊提示衡量，而應重視能否有效發現可重現、可驗證且具有實際影響的安全漏洞，並形成完整的修補與複測流程。

（四）AI Supply Chain Security：從軟體供應鏈延伸至模型與資料治理

近年軟體供應鏈安全已成為資安治理的重要議題，企業逐漸重視開源元件、第三方套件、容器映像檔及軟體物料清單（Software Bill of Materials, SBOM）的管理。

然而，AI 系統的供應鏈比傳統軟體更加複雜。

除程式碼與依賴套件外，AI 系統還可能包含預訓練模型、微調模型、模型權重、訓練資料、推論框架、向量資料庫、提示模板，以及各類外部工具與 MCP Server。

任何一個環節遭到惡意修改、污染或植入後門，都可能影響 AI 系統的安全性與可信度。

例如，企業若使用來源不明的模型權重、遭到植入惡意邏輯的第三方套件，或未經審查的 MCP Server，即使主要應用程式本身並無傳統軟體漏洞，仍可能面臨資料外洩及非預期程式執行風險。

因此，AI Supply Chain Security 應將既有的軟體供應鏈安全觀念延伸至 AI 的完整生命週期。

首先，應建立 AI 模型、資料集及軟體元件的來源識別與版本追蹤機制，確認其來源、授權條件、完整性及更新歷程。

其次，應推動 AI Bill of Materials（AIBOM），記錄 AI 系統所使用的模型、元件、依賴關係及其他重要中繼資料，提升供應鏈透明度。

此外，也應整合模型完整性驗證、數位簽章、部署來源證明、弱點掃描及異常行為監控，避免模型或工具在下載、更新與部署過程中遭到置換或竄改。

在 Agentic AI 的應用情境下，MCP Server 與第三方工具的信任管理尤其重要。企業除了確認工具來源，亦須持續檢查工具執行期間的實際行為，避免已通過初始審查的元件在後續更新或執行時產生新的安全風險。

從產業發展角度來看，AI 供應鏈安全具有高度的開源協作潛力，可透過標準化資料格式、模型來源驗證、供應鏈稽核及安全測試工具，建立跨平台、跨組織的 AI 安全管理基礎。

三、四大技術方向的比較與發展定位

技術方向 核心發展機會 主要技術挑戰 建議定位
AI SOC / Autonomous SOC 智慧化威脅分析、自動調查與受控應變 誤判率、可解釋性、自動應變風險 優先投入
AI Agent Security Agent 身分管理、工具權限控制、執行階段安全監控 Prompt Injection、工具劫持、權限隔離 優先投入
AI Red Team 自動化對抗測試、弱點驗證及持續性安全評估 測試覆蓋率、可重現性、真實風險驗證 核心支援技術
AI Supply Chain Security 模型與資料來源驗證、AIBOM、MCP 安全 來源可信度、元件異動、供應鏈稽核 基礎共通技術

整體而言，四項技術並非彼此獨立，而是可形成相互支援的完整 AI 資安技術體系。

其中，AI SOC 主要負責偵測與應變外部及內部的資安威脅；AI Agent Security 負責保護具有自主執行能力的 AI 應用；AI Red Team 提供持續性安全測試與防護有效性驗證；AI Supply Chain Security 則確保所使用的模型、資料與工具具有可追溯、可驗證的來源及完整性。

透過上述四個方向的整合，可逐步建立涵蓋事前預防、持續驗證、執行監控、事件應變及事後改善的 AI 安全技術架構。

四、AI 資安技術的未來研發與產業投入策略

從技術成熟度及未來產業需求觀察，建議將 AI SOC 與 AI Agent Security 作為主要研發方向，並以 AI Red Team 及 AI Supply Chain Security 建立共通技術與驗證基礎。

第一階段：建立 AI 資安基礎能力

優先整合現有 SIEM、EDR、XDR 與資安事件管理系統，開發 AI 輔助的日誌分析、威脅情報關聯、事件調查與報告生成能力。

同時，盤點企業使用的 AI 模型、AI Agent、資料來源及外部工具，建立基本資產清單、權限控管及安全測試機制。

此階段應優先選擇低風險且具有明確效益的應用情境，透過實際測試確認 AI 對資安維運效率的改善程度。

第二階段：發展自主防禦與 AI Agent 安全技術

在既有基礎上，進一步開發可執行多步驟分析任務的 AI SOC Agent，整合威脅調查、自動化工作流程及分級授權的防禦措施。

同步建立 AI Agent 安全控制層，涵蓋 Agent 身分管理、工具呼叫安全、Prompt Injection 偵測、權限政策執行，以及 AI 行為紀錄與稽核。

透過 AI Red Team 持續測試上述安全控制措施，並將測試成果回饋至系統改善流程。

第三階段：形成可重複部署的 AI 資安解決方案

逐步建立模組化、標準化且具備跨平台整合能力的 AI 資安架構，提供企業依照既有 IT 環境與安全需求，導入不同層級的 AI 防護功能。

在應用驗證方面，可優先選擇金融、醫療、製造、政府資訊系統及關鍵基礎設施等對資安要求較高的場域，評估 AI 資安技術在不同環境中的適用性。

同時，鼓勵國內企業、研究機構及開源社群參與國際 AI 資安專案，針對 AI Agent 安全控制、AI 安全測試、供應鏈透明度及威脅情報格式等領域進行技術協作。

藉由國際開源專案參與、實際場域驗證與產品化發展，逐步累積本土技術能量及國際合作能力。

五、建立可量測、可驗證的 AI 資安成效

AI 資安技術是否具有實際價值，不應僅以使用的 AI 模型規模或自動化功能數量判斷，而應建立明確的技術及營運績效指標。

在 AI SOC 方面，可衡量告警分類準確率、誤判率、平均偵測時間（MTTD）、平均回應時間（MTTR）、人工調查工時及自動化處置成功率。

在 AI Agent Security 方面，可評估未授權工具呼叫阻擋率、提示注入攻擊成功率、Agent 權限政策覆蓋率、高風險操作核准率，以及行為稽核紀錄完整度。

在 AI Red Team 方面，可追蹤測試情境覆蓋率、可重現弱點數量、重大弱點修補時間、修補後複測通過率及防禦控制有效性。

在 AI Supply Chain Security 方面，則可衡量 AI 資產盤點覆蓋率、模型及元件來源可追溯率、AIBOM 完整度、已知弱點處理時間，以及第三方工具安全審查覆蓋率。

透過一致性的測試程序、風險分級與績效衡量方式，可使 AI 資安從技術概念驗證，逐步走向可量化、可稽核及可規模化部署的產業應用。

六、結論：從 AI 輔助資安走向安全可控的自主防禦

AI 的快速發展，正在同時改變網路攻擊與資安防禦的技術模式。

未來攻擊者可能運用 AI 加速攻擊流程、提高社交工程的精準程度，並持續探索 AI 應用及代理系統中的新型態漏洞；防禦者也必須善用 AI 技術，強化威脅偵測、事件分析、風險預測及應變效率。

然而，真正具有長期發展價值的 AI 資安技術，不只是讓 AI 自動執行更多工作，而是讓 AI 在具備適當授權、可驗證行為及安全約束的條件下，成為可信賴的資安防禦工具。

因此，AI SOC 與 AI Agent Security 應被視為新一代資安技術的兩項主要發展核心，AI Red Team 與 AI Supply Chain Security 則是支撐其安全性、可信度與持續演進的重要基礎。

隨著 AI Agent 逐漸進入企業日常營運、軟體開發及資訊系統管理流程，資安防禦的關鍵也將從單純保護系統與資料，延伸至對 AI 自主行為的持續監控、驗證與治理。

未來 AI 資安產業的競爭力，將取決於是否能有效整合 AI 分析、自動化防禦、細緻化權限控管與持續性安全驗證，建立兼顧效率、韌性及可控性的技術體系。

從被動偵測到主動防禦，再到安全可控的自主式資安系統，將是 AI 時代資訊安全技術持續演進的重要方向。

主要參考資料

國際資安架構與指引

本文資料基準：2026 年 10 月。四大方向之投入優先順序與推動階段為策略性建議，非國際標準所規定之技術排名。