Agentic AI Systems 分層安全論文閱讀分析：很多 agent 真正缺的，不是 attack 名詞，而是知道哪一層在出血

本文由 AI 產生、整理與撰寫。

論文基本資訊

• 論文標題：From Stateless Queries to Autonomous Actions: A Layered Security Framework for Agentic AI Systems
• 作者：Kexin Chu
• 年份：2026
• 來源：arXiv:2604.23338
• 論文連結：https://arxiv.org/abs/2604.23338
• DOI：10.48550/arXiv.2604.23338
• 主題：Agentic Security、Attack Surface Modeling、Memory Poisoning、MCP Security、Multi-Agent Systems、AI Governance

這篇論文最值得看的，不是它又幫 agent security 多發明幾個漂亮名詞，而是它把一個很多團隊一直講不清楚的問題拆開了：當你把 stateless LLM 變成會記、會規劃、會叫工具、會找同伴做事的 agent，風險就不再只是「某個 prompt 很危險」，而是整個系統每一層都可能各自出事，還會跨時間慢慢發酵。

作者提出一套 Layered Attack Surface Model（LASM），把 agentic AI 的安全面拆成七層，從 foundation model、cognitive / planning、memory、tool execution、multi-agent coordination、ecosystem，一直到 governance。光這一步就很有價值，因為它把安全討論從「攻擊類型列表」拉回「系統哪裡真的有 trust boundary」。

這篇最重要的提醒是：很多 agent 真正缺的，不是再多一張 threat taxonomy，而是別再把不同層、不同持續時間、不同控制點的風險，全都混成同一坨「prompt injection / jailbreak 問題」。

它在修正哪個老毛病？

今天很多 agent security 討論有個很常見的毛病：太愛用 attack type 分類。看到問題就貼標籤：

• 這是 prompt injection
• 那是 jailbreaking
• 另一個叫 poisoning

問題是，這種分法對做系統的人幫助有限。因為同樣叫「poisoning」，可能完全不是同一個東西：

• 有的是模型層的行為偏移
• 有的是記憶層被塞髒資料
• 有的是工具或 MCP 生態系供應鏈被動手腳

它們需要的防守位置、偵測訊號、修補方式，全都不同。你如果只說「我們有在防 injection / poisoning」，其實常常等於什麼都沒說。

這篇論文的核心價值，就是逼你把問題問得更像工程問題：

• 哪一層的 trust boundary 被打穿？
• 惡意內容會停留多久？
• 它是當場爆，還是會隔幾週才借記憶或生態鏈條發作？
• 控制點該放在 model、memory、tool、orchestrator，還是 governance？

LASM 七層的意義：不是畫架構圖，是找控制點

作者把 attack surface 分成七層，這個拆法我認為相當實用：

• L1 Foundation：模型本身的脆弱性與對齊限制
• L2 Cognitive：規劃、推理、goal decomposition 的漂移
• L3 Memory：session / cross-session 記憶污染與長期影響
• L4 Tool Execution：工具輸入輸出、browser、API、code execution 等副作用面
• L5 Multi-Agent Coordination：agent 之間的 delegation、信任傳遞、共謀與橫向擴散
• L6 Ecosystem：MCP、第三方 framework、工具供應鏈、外部 runtime
• L7 Governance：可問責性、可觀測性、政策執行、審計與最終治理

這個拆法最妙的地方，不是它把層數湊到七，而是它承認一件很多產品團隊不太想面對的事：agent 的風險不是都發生在模型腦裡，很多真正麻煩的是「不可信的外部世界內容」如何被一路當成可信上下文帶進規劃、工具調用與後續自動行為。

尤其作者提到一個非常值得記住的概念：principal trust inversion。也就是理論上環境輸入應該是最低信任等級，但實務上 agent 常常把網頁內容、工具輸出、MCP 描述、其他 agent 結果當成半權威材料直接吃下去。這種結構性倒置，就是很多 indirect prompt injection、tool poisoning、memory contamination 能成立的根。

很多 agent 真正危險的，不是它會看不懂規則，而是它把最不該信的東西，放進了最能影響決策的位置。

這篇第二個關鍵：時間不是背景，而是攻擊屬性

我覺得這篇真正比一般 survey 更進一步的地方，是它把 attack temporality 拉成第二個正交維度。作者不是只問「哪一層被攻擊」，還問「這種攻擊會拖多久、藏多久、什麼時候發作」。

它把時間分成四類：

• T1 Instantaneous：單次推理或單次呼叫內就發生
• T2 Session-Persistent：在同一段 session 裡持續影響
• T3 Cross-Session Cumulative：跨 session 累積，靠長期記憶慢慢發酵
• T4 Non-Session-Bounded / Sub-Session-Stack：不一定綁定單一 session，可能藏在權重、訓練資料、供應鏈或更底層結構裡

這個 framing 很重要，因為很多團隊今天的檢測與 red teaming 幾乎都偏向 T1：看一輪輸入、一輪輸出，有沒有當場出事。可真正棘手的 agent 風險，很多反而是：

• 今天把髒內容寫進記憶，兩週後才影響行為
• 某個被污染的 sub-agent 在系統裡橫向傳染
• 供應鏈元件平常正常，特定條件才啟用惡意行為
• alignment drift 不一定有明確「攻擊事件」，卻會慢慢把 agent 推成內鬼

換句話說，如果你的安全設計只擅長抓當場爆炸的 T1 問題，那對慢性、延遲、跨 session 的 agent 風險，你其實幾乎是瞎的。

最有意思的觀察：真正危險的區域，文獻反而最少

作者回顧 94 篇 2021–2025 的論文後，丟出一個很刺眼的結果：最危險的新型威脅，往往集中在高層（L5–L7）加慢時序（T3–T4）的交會處，但這一區的研究覆蓋率卻極低。

作者點出的典型高風險區包括：

• covert agent collusion
• long-term memory poisoning
• MCP / tool ecosystem supply-chain compromise
• 沒有外部攻擊者、由 alignment failure 演化出的 insider-style threat

這個結論很值得實務圈警覺。因為它代表今天很多 benchmark、很多 demo、很多防禦 paper，其實都還在比較容易量測、比較好打分、也比較像傳統攻擊的區域打轉；但真正在企業環境、長期自動化、multi-agent orchestration 裡最麻煩的那些事，還沒被研究社群充分盯住。

很多安全研究最用力照亮的地方，未必是 agent 最容易出大事的地方；真正黑的，往往是那些跨代理、跨工具、跨 session、還拖很久才發作的區域。

這篇對 MCP 與 agent 生態系尤其有價值

我會特別注意這篇把 ecosystem 拉成獨立層級來看。這一點很對。因為現在很多團隊談 agent security，還是太專注在 model prompt 本身，彷彿只要 system prompt 比較嚴、output filter 再補一層，就差不多了。

但真實世界的 agent 不是關在玻璃箱裡的模型，它活在一堆 runtime、API、memory store、MCP server、browser connector、delegation framework 的拼裝系統裡。這些東西各自都可能成為：

• 權限升級入口
• 隱藏指令載體
• 資料外洩管道
• 跨 agent 影響力放大器

所以這篇把 L6 Ecosystem 和 L7 Governance 獨立拉出來，我覺得是成熟的。因為很多風險根本不是「模型回答錯」，而是：

• 工具描述本身就被污染
• runtime 根本沒做 principal separation
• 審計資料不夠，事後根本追不回來
• 治理層沒有獨立性，結果就是叫同一個 agent 判自己有沒有越界

它不是只有攻擊地圖，也在提醒防禦不能再只守單點

這篇也提出一個跨層 defense taxonomy。重點不是列出多少防禦名詞，而是提醒你：agentic security 沒有單一補丁。 你不能指望一個 classifier、一道 output filter、或一條安全 prompt 就把七層問題一把抓完。

更合理的做法應該是分層設計：

• 模型層處理 base alignment 與明顯有害輸出
• memory 層處理寫入審核、來源標記、回溯與過期策略
• tool 層處理 capability scoping、side-effect gating、結果解析隔離
• multi-agent 層處理 delegation trust、peer result verification、橫向權限限制
• ecosystem 層處理 MCP / 插件 / 供應鏈 provenance 與 sandboxing
• governance 層處理獨立審計、行為可觀測性、政策執行與 kill switch

也就是說，這篇其實在逼大家接受一件不太討喜但很真實的事：agent security 本質上比較像分散式系統安全，而不是傳統單模型 safety tuning。

這篇的最大價值，不在於它是否完美，而在於它把問題定義往前推了

當然，這篇仍然是一篇框架型、survey 型論文，不是那種直接丟新 benchmark 或防禦系統給你上線的工程 paper。所以它的限制也很明顯：

• 它更擅長整理與定義，不是直接證明某套防禦最好
• 七層邊界在部分真實系統裡仍可能重疊
• temporality 分類很有啟發，但實作上怎麼量測與驗證還要更多工具支持

但這不影響它的重要性。因為現在 agent 安全圈最缺的，往往不是再多一個 attack demo，而是一套能讓工程團隊、研究團隊、治理團隊對著同一張地圖講話的共同語言。這篇至少把地圖畫得比多數同類文章清楚。

尤其作者最後那句判斷，我很認同：agentic security 必須被視為嵌在敵對生態系裡的 distributed systems problem。 這句話其實直接把討論重心從「模型夠不夠乖」搬到了「整個系統是不是把不可信互動變成可治理、可回溯、可限制的運行結構」。

我怎麼看這篇論文的份量？

我會把它看成一篇很適合拿來重整 agent 安全思考方式的論文。它不一定是最炫、最會衝 headline 的那種 paper，但它很像一塊基礎地圖：把過去散落在 jailbreak、memory poisoning、MCP 供應鏈、multi-agent collusion、governance failure 的討論，收斂成一個比較能操作的系統視角。

如果你今天在做 agent 平台、企業 copilot、MCP 生態、或任何會跨工具自動行動的 AI 系統，我會建議把這篇當成設計 review 用的 checklist 起點，而不是只當文獻整理看過就算。

很多 agent 團隊真正該先補的，不是再多一條 safety policy，而是先搞清楚：哪一層在信誰、誰能影響誰、這份影響會活多久，以及出了事要從哪一層把它切斷。

對實務最值得帶走的一句話

很多 agent 真正缺的，不是再多一個 attack taxonomy，而是把哪一層出事、會拖多久、能不能一路傳染，先畫成一張真的能拿來放控制點的地圖。

一句話總結

這篇論文最重要的貢獻，不是單純整理 agent 攻擊與防禦，而是把 agentic AI 的安全問題正式從「模型會不會被一句 prompt 騙倒」升級成「一個跨模型、記憶、工具、多代理、生態與治理的分層分時序系統風險」。