CyberCertBench 論文閱讀分析：很多模型真正危險的，不是完全不懂資安，而是只懂到足以讓你放下戒心

論文基本資訊

• 論文標題：CyberCertBench: Evaluating LLMs in Cybersecurity Certification Knowledge
• 作者：Gustav Keppler、Ghada Elbez、Veit Hagenmeyer
• 年份：2026
• 來源：arXiv:2604.20389
• 論文連結：https://arxiv.org/abs/2604.20389
• 主題：Cybersecurity Benchmark、LLM Evaluation、Cybersecurity Certification、Operational Technology、OT Security、AI Reliability

很多人在看 AI 進資安這件事時，最容易先被漂亮 demo 說服：模型會解 CVE、會寫偵測規則、會幫忙 summarization、甚至偶爾還能答得像個資深工程師。可是真正危險的地方常常不是它偶爾答錯，而是它在某些你以為很專業、其實更專業的地方，會用非常有自信的語氣答得像對的一樣。

這篇 CyberCertBench 值得看的地方，就在它不是再做一組泛泛的 cyber QA benchmark，而是直接把問題拉回更貼近現實專業門檻的地方：如果拿業界資安認證考題來量，今天的 LLM 到底是懂一般 IT security，還是真的懂到能碰 vendor-specific 與 OT / 工控標準？

作者最後給出的答案其實很有警示性：前沿模型在一般 IT security 題目上已經接近甚至達到人類專家水準，但一旦題目要求更正式的標準知識、供應商特定細節，或 OT 安全語境，表現就開始明顯掉下去。

這篇論文想解決什麼？

作者點到的核心問題很實際：我們現在越來越常把 LLM 放進專業工作流，尤其是需要知識密度高、答錯代價也高的領域。但很多既有 benchmark 其實有兩個問題：

• 太泛，只能證明模型有沒有「大概懂」；
• 太容易飽和，新模型彼此差距被壓到很難看出來。

這在資安尤其麻煩。因為你不能只知道模型會背一些 textbook 概念，還得知道它碰到下面這些題型時會不會失真：

• 供應商產品的配置與操作細節
• OT / ICS 場景的安全概念
• 像 ISA/IEC 62443 這種正式標準的結構、術語與方法論

也就是說，這篇想補的不是「LLM 能不能做資安」，而是更細一層的：LLM 對資安知識的能力邊界，到底停在哪一層？

CyberCertBench 在做什麼？把 benchmark 從學術題庫拉回業界認證知識

作者提出的 CyberCertBench，本質上是一套從業界認證題庫整理出來的多選題評測集（MCQA benchmark suite）。它不是只拿學術 benchmark，而是把不同知識層次排成一條梯度來看：

• Cisco CCNx：偏 IT networking 與一般資安原則
• Fortinet NSE：偏供應商特定、程序型知識
• Fortinet ICS/SCADA：偏 OT / ICS 的概念型安全知識
• ISA/IEC 62443：偏正式標準、術語與方法論

除此之外，作者也拿 MMLU Computer Security 與 CyberMetric80 當基準，讓大家能看出「傳統 benchmark 高分」和「真正碰到專業認證內容」之間的差距。

我覺得這個設計好的地方，是它不是只問模型會不會答資安，而是把資安知識拆成幾種很不同的能力：

• 概念型知識
• 程序型知識
• 標準型知識
• OT / 工控語境知識

這比一句「模型在 cyber benchmark 上幾分」有用得多。

這篇最重要的 framing：LLM 不是不懂資安，而是懂到哪一層差很多

這篇 paper 最值得帶走的一個觀念，是它沒有把模型能力看成單一分數，而是看成一條知識階梯。

作者的結果很清楚：

• 在一般 IT security 題目上，前沿模型已經相當強；
• 到了概念型 OT security，很多頂尖模型仍可接近甚至達到專家及格線；
• 但一旦進入formal standard 或 vendor-specific procedure，能力就明顯崩下去。

這其實很符合直覺：網路上大量存在的是一般 IT security 與常見網通知識，但像 IEC 62443 這種正式標準、或特定產品家族的操作邏輯，原本就不是 web-scale corpus 最肥的地方。問題在於，模型答題時不會自然提醒你它其實只懂到表層。

關鍵結果一：一般 IT security benchmark 幾乎快飽和，已經不太能區分前沿模型

作者觀察到，在 MMLU Computer Security 與 CyberMetric80 這類一般 IT security benchmark 上，前沿模型已經接近甚至達到接近滿分。這代表兩件事：

• 第一，現在的大模型確實已經很會答一般資安知識題。
• 第二，這些 benchmark 對前沿模型的鑑別力正在下降。

換句話說，如果你只看這種 benchmark，很容易得到一個過度樂觀的印象：以為模型在資安知識上已經差不多成熟了。但 CyberCertBench 的貢獻，就是證明這個結論只對了一半。

關鍵結果二：Cisco 與概念型 OT 題目上，頂尖模型已接近專業門檻

作者用專業認證常見的 80% 當成人類專家基準。結果顯示：

• 在 Cisco 這類偏 IT networking / IT security 的題目上，頂尖模型大多能達到或超過這條線；
• 在 Fortinet ICS/SCADA 這類偏概念型 OT security 題目上，不少頂尖模型也還能碰到及格線附近。

這個結果的意思不是「模型已經能安全接手 OT」，而是：只要題目主要考的是概念、原則與常見知識，模型其實已經很像一個讀很多書的工程師。

但麻煩就在下一步。

關鍵結果三：正式 OT 標準知識一上場，表現直接塌陷

真正有殺傷力的結果，是在 ISA/IEC 62443 這個 benchmark 上。

作者指出，這組題目測的是更正式、標準導向的 OT 安全知識；結果裡，只有 Claude 3.5 Sonnet 一個模型達到 81%，跨過 80% 專業基準，其餘模型都沒有過線。

這說明了一件非常重要的事：

模型可以對 OT 安全講得頭頭是道，不代表它真的掌握正式標準語義；而在 safety-critical 環境裡，這兩件事差很多。

對工控、能源、製造、關鍵基礎設施來說，這不是學術小差距，而是實務風險。因為這些場景真正要求的，往往不是泛泛的安全常識，而是對標準、流程、控制邊界與用詞的精準理解。

關鍵結果四：最慘的不是 OT formal standard，而是 vendor-specific procedural knowledge

如果說 62443 顯示的是「正式標準知識不好學」，那 Fortinet NSE 顯示的就是另一種更現實的痛點：供應商特定、程序型、操作型知識更不好學。

作者的結果是：沒有任何模型接近 80% 及格線，最高分也只有 62.4%。

這其實超有意思。因為很多人直覺上會覺得，模型最不擅長的應該是 formal standard；但這篇提醒你，真正常見又致命的短板，也可能是某家產品的設定流程、管理邏輯、操作慣例與 ecosystem-specific 細節。

而這恰好也是很多企業在真實環境裡最需要的知識類型。也就是說，LLM 很可能能跟你侃侃而談 zero trust、segmentation、威脅模型，卻在真正要你動手配某個 vendor 的東西時，開始一本正經地亂講。

這篇還做了什麼？用 Proposer-Verifier 去解釋「到底難在哪」

除了 benchmark 本身，作者還提出一個 Proposer-Verifier 分析框架，想回答另一個常被忽略的問題：模型為什麼在某些題目上會失敗？

這套方法不是只給你分數，而是試圖產生可讀的自然語言解釋，描述題目的困難點與模型可能卡住的知識缺口。這件事的價值在於，它讓 benchmark 不只是排行榜工具，也比較像 diagnosis tool。

對資安應用來說，這很重要。因為我們真正想知道的通常不是「這模型考幾分」，而是：

• 它是卡在名詞定義？
• 卡在供應商產品語境？
• 卡在標準文件的正式結構？
• 還是卡在把概念轉成程序動作的那一步？

如果未來要做更精準的 domain adaptation 或 guardrail，這類可解釋分析比單純平均分數更有價值。

另一個值得注意的結果：小模型進步很快，但大模型開始出現 diminishing returns

作者也看了模型隨時間的變化，結論不是單純「新的都比較強」，而是：

• 小型到中型模型的參數效率進步很明顯；
• 超大型前沿模型雖然仍領先，但增益開始變小。

這代表什麼？代表今天若只是靠把 model size 一路堆大，未必能補齊那些 formal standard 與 vendor-specific 的知識缺口。論文也直接指出，在 hardest questions 上，即使是最大的模型，於 ISA/IEC 62443 與 Fortinet NSE 這兩類 benchmark 仍常常低於 40% 準確率。

這其實很關鍵。因為它暗示：有些缺口不是 scale problem，而是資料分布、知識型態與訓練對齊問題。

我自己的看法：這篇其實是在拆穿「資安高分 = 可安全上線」這個幻覺

如果把這篇論文濃縮成一句話，我會說它在做的，是拆掉一個很常見的錯覺：

模型在一般 cyber benchmark 上高分，不代表它真的能安全支撐專業工作流；尤其當工作流碰到 OT、正式標準、供應商操作細節時，表層懂和真正可依賴之間還有很長一段距離。

這對很多產品設計都很重要。因為實務上大家最容易犯的錯，就是把「模型在一般 benchmark 上很強」直接外推成：

• 可以放心拿來做內部知識助手
• 可以幫工程師做配置建議
• 可以碰工控場景的操作指引
• 可以拿來解讀標準與 compliance 要求

CyberCertBench 告訴你的反而是：越接近真實專業門檻，越不能只看表面高分。

這篇論文的限制也要看清楚

當然，這篇不是沒有侷限。像作者自己也提到，題目資料來自公開可得的認證題庫與社群網站，雖然有做人工驗證、去重與清理，但仍可能存在：

• 取樣偏差
• 社群題庫偏好「難題」或「熱門題」的偏差
• 較少涵蓋真正開放式、情境式、實作型任務

所以這篇量到的主要還是知識與辨識能力，不等於完整的實戰操作能力。可即便如此，它已經很有價值，因為至少它把一件事量清楚了：模型在不同層次的資安知識上，落差真的很大。

Takeaway

這篇論文最值得記住的一句話，我會這樣總結：

很多 LLM 真正危險的，不是完全不懂資安，而是只懂到足以讓你放下戒心；CyberCertBench 的價值，就在它證明模型在一般 IT security 上已很強，但一碰到 vendor-specific 細節、OT 語境與正式標準知識，可靠度還會明顯掉階。

如果你在做 AI for SOC、資安 copilot、OT 助手、compliance / standards 問答，或任何會把 LLM 接到高風險知識工作流裡的產品，這篇很值得讀。它提醒你的不是「模型沒用」，而是更實際的那句話：別把通識高分，誤認成專業可靠。

本文由 AI 產生、整理與撰寫。