KryptoPilot 論文閱讀分析：當 LLM Agent 真正卡在高難度 Crypto 題時，問題常常不是不會想，而是拿到的知識根本不夠細

如果最近 sectools.tw 這串文章，已經一路把焦點拉到 agentic security、offensive benchmark、tool-using agents、長程任務閉環，那這篇 KryptoPilot 很值得補上的地方在於：它不是再問模型會不會解一般 CTF，而是直接挑最難被自動化、也最吃精細知識密度的 crypto 題，逼大家面對一個更根本的問題——LLM agent 真正卡住的，很多時候不是推理不夠長，而是拿到的知識根本不夠細。

這個切點很重要。因為在資安圈，大家現在很愛把 agent 失敗歸因成「模型還不夠聰明」；但 KryptoPilot 這篇論文給出的診斷更尖一點：對高難度 cryptographic exploitation 來說，真正先爆掉的常常不是 reasoning depth，而是知識粒度、知識可執行性，以及錯誤知識在長程 workflow 裡的連鎖放大。

它想解的不是一般做題能力，而是「理論很硬、實作很細」的 crypto exploitation 落差

Crypto CTF 之所以難，從來不只是因為題目需要數學。更麻煩的是，它要求解題者把 數論、格基攻擊、橢圓曲線、參數退化、協定缺陷 這些抽象知識，翻成真正能跑、能驗、能收斂的 exploit code。很多題甚至不是知道關鍵詞就夠，而是得知道某篇論文裡哪個推導、哪個條件、哪個 attack parameter range 才真的能用。

作者的核心觀察很直白：現有不少 LLM agent 雖然會 search、會 RAG、會寫 code，但外接知識常常太粗。 如果它拿到的是摘要化、二手化、或者只保留高層概念的 external knowledge，那模型就很容易在前幾步就把 attack model 建歪，後面再怎麼補 prompt、加 tool，都只是沿著錯路越走越遠。

這也是為什麼我覺得這篇比單純報 solve rate 的 paper 更值得看。它不是在證明「更大的模型更厲害」，而是在追問：當任務真的需要精準 cryptanalytic knowledge 時，agent architecture 該怎麼把知識取得、知識保存、執行環境與推理穩定性重新接起來？

作者的診斷很有力：瓶頸是 knowledge granularity，不是純 reasoning capacity

論文最關鍵的主張，其實濃縮成一句話：high-difficulty crypto CTF 的主要失敗來源，不是模型不會推理，而是它拿到的外部知識不夠細，導致 attack modeling 一開始就失真。

這個觀點很值得記，因為它其實也能外推到很多資安 agent 任務。真正有風險的，常常不是模型「完全不知道」，而是它知道一個過度抽象、看起來合理、但對當前 exploit 根本不夠用的版本。這種半懂不懂的狀態，在長程任務裡特別致命：前面 attack premise 一歪，後面工具調用、code generation、debugging 全都會跟著一起漂。

換句話說，KryptoPilot 不只是做了一個 crypto agent；它其實在提醒一件更普遍的事：很多 agent 失敗，不是因為 reasoning engine 太弱，而是因為整條 knowledge supply chain 太粗糙。

KryptoPilot 的架構重點，不是把所有事都丟給一個超大模型

這篇方法設計我覺得最對味的地方，是它沒有再走「單一大模型＋超長 prompt」那條路，而是把系統拆成幾個更像真實研究流程的部件：

• Dynamic Open-World Knowledge Acquisition：透過類似 Deep Research 的管線，去抓更長、更新、也更貼近原始資料的外部知識，而不是只依賴封閉、靜態、摘要式的本地 knowledge base。
• Persistent Workspace：把已整理出的攻擊知識、推導脈絡、參數、程式片段與中間結論留下來，讓 agent 不必每輪都重新失憶。
• Governance Subsystem：不是只講 safety guardrail，而是更偏 workflow governance——透過 behavioral constraints 穩住長程推理，避免 agent 在錯路上無限漂移。
• Cost-aware Model Routing：不同子任務不硬塞同一個最貴模型，而是依任務難度與型態動態分配模型能力與成本。

這個組合最值得注意的，不是某個 component 聽起來多新，而是它們合起來剛好回應 crypto exploitation 最痛的三個問題：知識要夠細、推理要夠穩、執行要夠省。

它真正想做的，是讓知識不只被檢索到，還能被「拿來做事」

很多 RAG 類系統的問題，是把 retrieval 成功誤以為問題已經解決。可是在 crypto exploitation 裡，知道「某種攻擊存在」遠遠不夠；你還得知道它成立的假設條件、需要的參數區間、該怎麼轉成可執行腳本，甚至得知道哪個 library / solver / 數學工具才是實際可用的。

KryptoPilot 的價值就在這裡：它不是停在「找到一篇相關 write-up」，而是想把 knowledge granularity 從摘要層，往可建模、可推導、可實作那層壓下去。論文甚至明講，很多高難度 crypto 題真正依賴的是 long-form primary sources，例如 cryptanalysis papers 與細節完整的技術分析；這也正是傳統 summary-oriented RAG 最容易失真的地方。

這一點其實很有啟發性。因為未來很多 security agent 能不能真的落地，可能不只取決於模型本身，而是取決於它接到的知識，究竟是 analyst-ready、execution-ready，還是只是 search-result-ready。

Governed reasoning 比「讓模型自由發揮」更像正路

這篇另一個我很認同的點，是它沒有把 autonomy 想成越自由越好。作者反而很清楚：長程 crypto reasoning 一旦走錯，成本會被快速燒掉。 所以他們加了 governance subsystem，用 prompt-level behavioral constraints 去穩住行為，同時用 model routing 控制不同子任務的資源配置。

這背後的思路其實很成熟：不是所有步驟都需要最強模型，也不是所有探索都值得放任到底。 當 agent 已經拿錯知識、建錯模型、或開始在錯誤 attack path 上空轉時，真正有價值的不是讓它更努力，而是讓系統有辦法把它拉回來、限縮它、或者至少降低錯誤探索的燒錢速度。

所以 KryptoPilot 這篇看起來像在做 offensive automation，但其實也很像在補 agent engineering 裡一個常被忽視的課：要把 agent 做強，不能只加能力，也得加節制。

結果很亮眼，但真正值得看的不是 headline，而是它打穿了哪種既有假設

論文給出的 headline 很強：

• InterCode-CTF 100% solve rate
• NYU-CTF crypto benchmark 56%–60% solve rate
• 六場真實 CTF 比賽中解出 33 題裡的 26 題
• 而且還包含多個 earliest-solved 與 uniquely-solved 的題目

這些數字當然夠猛，但我覺得更值得記住的，不是「它解了很多題」本身，而是它打穿了一個既有假設：高難度 crypto agent 的主要天花板，不一定是模型 reasoning 不夠，而是系統從一開始就沒把知識層處理對。

這種結論的含金量其實很高。因為它意味著下一輪競爭點，未必只會落在更大模型或更長 context，而可能會轉向：

• 更好的 open-world knowledge acquisition
• 更能保存中間推導與 exploit state 的 persistent memory
• 更像工程系統而不是聊天機器人的 governance 與 routing

這篇也順手提醒了一件事：高能力模型不是每一步都必要

從論文章節安排就看得出來，作者刻意把「High-Capability Models Are Not Always Necessary」拉成一個明確問題。這個角度很實際，因為很多 security agent paper 最後都默默落到一個很尷尬的現實：如果每一步都要最貴、最強的 frontier model，系統也許能 demo，但很難常態化。

KryptoPilot 把 model routing 放進架構裡，等於承認一件事：真正可持續的 agent，不只是要會做，還要做得起。 對 CTF 研究來說，這代表可以在時限內多輪探索；對企業場景來說，這代表未來類似方法才有可能進到更廣泛的弱點驗證、攻擊模擬或高強度分析工作。

把它放回 sectools.tw 近期脈絡裡，這篇很像是把 offensive agent 問題拉回知識工程本體

如果把它放回最近這串文章來看，位置其實很清楚：

• 它不像 CVE-Bench、CyberExplorer 那類 benchmark，重點不只是在量 agent 到底能不能打。
• 它也不像單純的 skill / tool / runtime security 論文，把焦點放在 trust boundary 與 execution risk。
• 它更像是在 offensive security 這條線上，重新把問題壓回知識取得、知識表徵、知識可執行性。

這也是它最有意思的地方。因為很多人談 security agents，最後都忍不住把焦點放在 orchestration；但 KryptoPilot 提醒我們，如果知識本身還是糊的，再漂亮的 orchestration 也只是在幫錯誤更有效率地擴散。

我怎麼看這篇

我覺得 KryptoPilot 真正值得防守方和研究者一起記住的，不是「LLM 已經會自動解很多 crypto 題」這種表層結論，而是更底層的訊號：資安 agent 的能力邊界，正在被 knowledge engineering 重新定義。

當任務夠難、推理夠長、又真的需要把理論翻成 exploit 時，勝負點開始不只是模型是不是更聰明，而是整個系統能不能把正確、細粒度、可執行的知識，在對的時候交到對的推理步驟手上。

真正讓 agent 變強的，很多時候不是它更會想，而是它終於不再拿著太粗的知識硬做精細的事。

論文基本資訊

• 論文標題：KryptoPilot: An Open-World Knowledge-Augmented LLM Agent for Automated Cryptographic Exploitation
• 作者：Xiaonan Liu、Zhihao Li、Xiao Lan、Hao Ren、Haizhou Wang、Xingshu Chen
• 年份：2026
• 來源：arXiv:2601.09129
• 論文連結：https://arxiv.org/abs/2601.09129
• DOI：10.48550/arXiv.2601.09129
• 主題：Crypto CTF、LLM Agent、Open-World Knowledge Augmentation、Cryptographic Exploitation、Deep Research、Persistent Memory、Model Routing、Offensive Security

本文由 AI 產生、整理與撰寫。 內容主要依據公開論文、arXiv 頁面與可取得之研究資料進行彙整、解讀與摘要。儘管已盡力確保內容之完整性與可讀性，仍可能因模型理解限制、資料來源差異或語意轉譯過程而存在疏漏、不精確或更新延遲之處。本文內容僅供研究交流與知識分享參考，實際技術細節、實驗設定與最終結論，仍應以原始論文、官方文件及作者公開資料為準。