Offensive Security Agent 架構論文閱讀分析：很多系統真正缺的，不是再多幾個分身，而是先知道什麼時候單兵就夠
論文基本資訊
- 論文標題：Towards Optimal Agentic Architectures for Offensive Security Tasks
- 年份：2026
- 來源：arXiv:2604.18718
- 論文連結：https://arxiv.org/abs/2604.18718
- DOI：10.48550/arXiv.2604.18718
- 主題：AI Agents、Offensive Security、Agent Architecture、Benchmark、Web Security、Binary Exploitation
很多人在看 offensive security agent 時，直覺都還停在「多塞幾個 agent 應該就更強」：多一個 planner、多一個 critic、多一個 verifier，架構圖越熱鬧，好像能力就越像樣。
但這篇 Towards Optimal Agentic Architectures for Offensive Security Tasks 真正有價值的地方，是它把這件事從信仰題拉回成可量化的 systems 問題：
在 offensive security 這種要持續探測、蒐證、假設、驗證的環境裡，更多 agent 確實可能帶來更高覆蓋；但它不會免費，也不會永遠贏。真正缺的不是「再多幾個分身」，而是先知道什麼時候單兵就夠、什麼時候才值得付出協作成本。
我喜歡這篇，不是因為它又做了一個很會打洞的 agent，而是因為它終於把很多人一直憑感覺在堆的東西——拓樸、分工、協調、驗證——拆成可以直接比較的架構選型問題。
這篇真正打到的痛點是什麼？
這篇論文不是在問「LLM 會不會打 web」或「agent 會不會找 binary bug」，而是在問更上游的一層：
- 單 agent 夠不夠？
- 平行多 agent 真的有幫助嗎？
- centralized orchestrator 會不會反而變 bottleneck？
- peer voting、hub routing、hybrid hierarchy 到底哪種比較值？
這個問題之所以重要，是因為現在很多 agentic security 系統其實都把「架構」和「能力」混在一起講。某篇 paper 強，不一定是因為它用了 multi-agent；也可能只是 prompt 寫得比較好、工具介面比較順、驗證 loop 比較完整。
這篇的做法比較老實也比較有用：固定 prompts、固定 tools、固定 verifier、固定 budget，盡量只讓 coordination topology 自己接受比較。
這就讓它不只是 capability demo，而比較像 offensive security 版的 agent architecture ablation study。
作者怎麼做？
作者建立了一個 20 個互動式 targets 的 benchmark，其中：
- 10 個 web / API targets
- 10 個 binary targets
- 每個 target 都有一個 endpoint-reachable 的 ground-truth vulnerability
- 每個 target 都同時提供 whitebox 與 blackbox 模式
接著，他們把同一組任務丟給五種架構家族：
- SAS：single-agent baseline
- MAS-Indep：三個彼此不溝通的平行 worker，最後 best-of-N
- MAS-Decent：三個 peer agent，各自掃完後做 top-1 投票
- MAS-Central：由 central planner 決定主路線，再交給 exploit specialist 驗證
- MAS-Hybrid：兩層式 hybrid，保留部分平行探索與 validator-controlled endgame
整個 core study 一共跑了 600 runs：5 種 topology × 3 個 model families × 20 個 targets × 2 種 access modes。
這個設計有個很好的地方：它不是只看 agent 有沒有講出疑似漏洞，而是看有沒有到達validated detection，也就是能不能產出可驗證、可交付的 finding。這對 offensive security 很重要，因為「猜對類別」和「真的能交差」差很多。
這篇最值得記住的第一組數字：整體 validated detection 只有 49.8%
先講最重要的總體數字。
- 整體 detection-any：58.0%
- 整體 validated detection：49.8%
換句話說，就算這批系統已經是有工具、會互動、會驗證的 offensive agents，整體也還沒有進到那種「可以閉眼放心丟去打」的程度。
而且這 49.8% 很值得注意，因為它不是在極端 open-world 的真實 bug bounty 環境亂跑，而是在作者特別整理過、每個 target 都有 primary ground-truth vulnerability 的受控 benchmark 裡得到的。
這代表很多 agent 系統真正還沒解決的，不是會不會提出 plausible hypothesis，而是能不能把那個假設穩定收斂成 validator 認帳的 finding。
不是 multi-agent 一定贏，而是出現一條很現實的 cost-quality frontier
Table 1 是全篇最值得背下來的一張表。
- SAS：validated 50.8%，median TTFV 53.0s，cost/valid $0.058
- MAS-Indep：validated 64.2%，median TTFV 111.9s，cost/valid $0.143
- MAS-Decent：validated 45.8%，cost/valid $0.212
- MAS-Central：validated 36.7%，cost/valid $0.115
- MAS-Hybrid：validated 51.7%，median TTFV 169.0s，cost/valid $0.155
這張表非常殘酷，也非常實用。
MAS-Indep 確實是 coverage 最強的，validated detection 最高達 64.2%；但它不是免費午餐，時間大概是 SAS 的兩倍，成本也顯著更高。
反過來看，SAS 沒有拿到最高 detection，可是它的效率非常漂亮：$0.058 per validated finding、53 秒 median time-to-first-validation。對很多實際團隊來說，這種「夠強、夠快、夠便宜」的組合，反而更像 production baseline。
更有意思的是，MAS-Central 反而被打得很慘。這很值得想：很多人以為把中央 orchestrator 做強，整體系統就會更穩；但在這裡，它拿到的是最低的 validated detection：36.7%。
這背後其實點出一個很常見的 agent failure mode：
- 如果 central planner 一開始把主假設押錯
- 後面整條 exploit / validation 路徑就會跟著押錯
- 你看起來很「有秩序」的系統，反而比平行亂槍打鳥更容易早早鎖死在錯路上
最該記住的結論不是「多代理比較強」，而是「平行獨立探索」比花俏協作更實在
如果只看這篇，我認為最值得帶走的架構 insight 是：
在 offensive security 這種高不確定、驗證昂貴、部分可觀測的任務裡，最有價值的 multi-agent 增益，很多時候不是來自更複雜的對話協調，而是來自更寬的獨立探索。
MAS-Indep 的強，不在它有多聰明的會議機制，而是在它保留了多條彼此獨立的 search trajectory。這跟很多真實世界漏洞研究其實很像：真正有效的，不一定是每個 researcher 一直互相開會，而是幾個人各自沿不同線索跑，最後拿結果做 merge。
相反地，MAS-Decent、MAS-Central、MAS-Hybrid 這些更講究協作或中心控制的設計，並沒有穩定地主宰兩端——既沒比 SAS 便宜，也沒比 MAS-Indep 準。
這就是作者說的 non-monotonic cost-quality frontier：更多 coordination 不是線性加分，有些時候只是把 token、延遲和整合失敗一起放大。
Whitebox 和 blackbox 的落差大到很難假裝沒看到
這篇另一組很值得記住的數字，在 Table 3：
- Whitebox validated detection：67.0%
- Blackbox validated detection：32.7%
中間差了整整 34.3 個百分點。
這其實把很多 agent 評測裡一個常被淡化的現實重新釘死：可觀測性比你選哪個 topology 還重要。
如果能看 source、能理解 exposed surface、能沿 code 路徑建立 exploit hypothesis，整體成功率會被大幅拉高；一旦退回 blackbox，只剩 endpoint probing 與外部回饋，整個搜尋空間立刻變得昂貴又不穩。
作者甚至指出，MAS-Indep 相對 SAS 的增益，在 blackbox 條件下更明顯。這很好理解：當觀測資訊不足時，多條獨立探索路徑本來就比單一路徑更有機會撞到正解。
Web 和 binary 根本不是同一個難度世界
如果 whitebox/blackbox 講的是 observability gap，那 web/binary 講的就是 domain gap。
- Web validated detection：74.3%
- Binary validated detection：25.3%
差距高達 49 個百分點。
而且論文還提到一個很關鍵的細節：49 個 partial outcomes 全都出現在 binary。這意味著什麼？
代表 binary 任務很多時候不是 agent 完全不知道哪裡可能有問題，而是它無法把正確方向收斂成真的 exploit validation。
這跟最近很多 offensive agent paper 的共同訊號其實很一致：web/API 世界比較像是 evidence collection + interaction planning 問題；binary 世界則常常多了一層 exploit closure 的硬門檻。你可以猜到 CWE、猜到 class、甚至摸到入口，但最後那段 exploitation loop 還是可能關不起來。
模型差異有，但這篇更像是在證明「架構與任務條件」才是大頭
作者也比較了三個 model families：
- GPT-5.2：validated 50.0%，cost/valid $0.258
- Claude Opus 4：validated 47.5%，median TTFV 70.2s
- Kimi K2：validated 52.0%，cost/valid $0.047
這些數字當然有意思，但整篇讀下來我反而覺得，作者其實在幫大家修正另一個常見誤會：
你可以換模型，但很多時候真正把結果拉開的，不是模型神力本身，而是你給了它什麼 observability、什麼 domain、以及什麼 coordination topology。
也就是說，這篇不是在證明模型不重要，而是在證明：agent 系統表現，很多時候本來就是 model × topology × task regime 的交互作用，不該被簡化成一張模型排行榜。
這篇對實務最有價值的地方：把 architecture selection 變成 routing 問題
我很喜歡作者最後的 framing：既然沒有單一 universally dominant architecture，那下一個問題就不該再問「哪個最好」，而是：
- 這個 target 比較像 web 還是 binary？
- 現在是 whitebox 還是 blackbox？
- 目標是 cheapest coverage，還是最高 validated recall？
- 早期 probing signal 有沒有顯示目前任務更適合平行探索？
也就是說，architecture choice 應該從靜態預設值，變成 adaptive routing policy。
這很像雲端資源調度或 incident response playbook selection：不是永遠用同一套，而是根據任務難度、訊號密度、成本容忍度去切換。
如果把這篇放回現在的 agent engineering 現場，我會把它翻成一句很直白的話：
很多團隊真正缺的，不是再多畫一張 multi-agent 架構圖，而是先承認「同一種 topology 不可能對所有 offensive security 任務都最划算」。
我怎麼看這篇？
如果要一句話講完，我會這樣總結：
這篇最重要的貢獻，不是證明 multi-agent 有時比較強，而是證明 offensive agent 的架構選型，本質上是 observability、domain difficulty 與 coordination overhead 三者之間的工程折衝。
它把一件很多人憑直覺、憑審美、憑 demo success 在做的事，拉回實證：有些時候單 agent 已經很夠；有些時候平行探索值得花錢；有些時候看起來很有治理味道的 centralized system 其實只是在更早把自己鎖死。
我覺得這對整個 agentic security 生態是很好的提醒。因為如果大家一直只追「再多一個 planner、再多一個 judge」，最後很可能只是把成本、延遲和失敗模式一起 stack 起來，卻沒有真的把 validated finding 拉高多少。
這篇對實務團隊最值得帶走的三件事
- 先把 SAS 做強，再談多代理。 這篇裡 SAS 不是輸家，它是最像 production baseline 的效率錨點。
- 如果資訊不足，先買探索寬度，不要先買協調花樣。 MAS-Indep 的增益說明，blackbox 或高不確定任務通常更需要平行 search，而不是更複雜的會議流程。
- Binary 與 web 不該共用同一套能力想像。 很多 agent 在 binary 上的真正瓶頸，不是辨識 class，而是把 exploit loop 關起來。
總結
Towards Optimal Agentic Architectures for Offensive Security Tasks 這篇論文最值得看的地方，不是它又推出一個新潮 multi-agent 架構，而是它老老實實把 offensive security agent 的拓樸選擇做成 benchmark 問題。
在 20 個 interactive targets、5 種 topology、3 個 model families、2 種 access modes、共 600 runs 的比較下，作者給出一個很清楚也很不討喜的答案：沒有單一架構會全面輾壓。 MAS-Indep 在 validated detection 上最高，SAS 在成本與速度上最漂亮，而 whitebox 與 web 這兩個 regime 幾乎決定了整條能力曲線會不會抬起來。
真正值得記住的結論是：offensive agent 的問題，很多時候不是「模型夠不夠強」，而是你把它放進什麼可觀測條件、什麼任務域，以及什麼協作拓樸裡。多代理不是萬靈丹；不帶選擇地堆協作，常常只是更貴地失敗。
免責聲明
本文由 AI 產生、整理與撰寫。 內容主要依據公開論文、arXiv 頁面與可取得之研究資料進行彙整、解讀與摘要。儘管已盡力確保內容之完整性與可讀性，仍可能因模型理解限制、資料來源差異或語意轉譯過程而存在疏漏、不精確或更新延遲之處。本文內容僅供研究交流與知識分享參考，實際技術細節、實驗設定與最終結論，仍應以原始論文、官方文件及作者公開資料為準。