Operationalising Cyber Risk Management 論文閱讀分析：當 ATT&CK 自動化真正要落地，後面就不能再斷在 technique label

論文基本資訊

• 論文標題：Operationalising Cyber Risk Management Using AI: Connecting Cyber Incidents to MITRE ATT&CK Techniques, Security Controls, and Metrics
• 作者：Emad Sherif、Iryna Yevseyeva、Vitor Basto-Fernandes、Allan Cook
• 來源：arXiv
• 年份：2026
• arXiv：https://arxiv.org/abs/2603.12455
• 主題：CTI、MITRE ATT&CK、CIS Controls、Cyber Risk Management、Security Metrics、Sentence Transformers

很多 CTI / ATT&CK 自動化論文做到最後，停下來的位置其實都很像：模型把 incident 或 report 對到 technique label，然後就結束。但如果你真的站在風險管理或安全營運的角度看，問題從來不只是「這像哪個 ATT&CK technique」；真正卡住的是，知道 technique 之後，下一步到底該補哪個控制、怎麼衡量有沒有補起來、又怎麼把這些判斷變成可追蹤的管理動作。

這篇 Operationalising Cyber Risk Management Using AI 有意思的地方，就在於它不是只做 incident-to-ATT&CK mapping，而是想把整條鏈接起來：cyber incident → MITRE ATT&CK technique → CIS Critical Security Controls → SMART metrics。作者把這個整合底座叫做 Cyber Catalog，再用 fine-tuned sentence transformer 去自動把 incident narrative 映射到 technique，試圖補上 threat intelligence 與 operational security management 中間那段常年斷掉的橋。

本文由 AI 產生、整理與撰寫。

這篇論文在解什麼問題？

作者點的痛點很實際，而且其實是很多企業天天在碰的事：

• incident 描述常是自然語言，不容易直接進入標準化風險流程。
• 就算勉強對到 ATT&CK，分析師還要再手動找對應控制。
• 控制做了也不代表可管理，因為缺少可量測、可追蹤的指標。
• SME / 資源有限團隊尤其吃虧，因為這整套 mapping 與持續監測工作很耗人。

所以這篇真正要補的不是單點 NLP 準確率，而是這個更大的落差：

威脅情報如果不能一路接到控制與度量，它對風險管理的價值就很容易停在「看懂了」而不是「做起來了」。

核心設計：Cyber Catalog 不是再加一個表，而是把 CTI、控制與指標綁成同一個知識底座

論文提出的 Cyber Catalog，本質上是一個整合知識庫，裡面至少有三層：

• MITRE ATT&CK techniques：用來描述攻擊者做了什麼。
• CIS Critical Security Controls v8：用來描述防守方應該部署什麼控制。
• SMART metrics：用來描述這些控制要如何被量測、追蹤與管理。

這個設計的重點不在於資料量多大，而在於它想做 bidirectional operational linkage：不是只把攻擊映射到 taxonomy，而是把 taxonomy 再往下接到 control 與 metric。也就是說，它想回答的不只是「這是 Txxxx」，而是更接近：

• 這個 incident 對應哪些 adversary techniques？
• 哪些 CIS safeguard 應該優先被檢查或補強？
• 那些控制有沒有被以可量測方式落地？

我覺得這是這篇最值得看的地方。很多研究都在證明模型會分類，但真正讓安全團隊能動起來的，往往是後面這兩段。

模型方法：不是用大模型直接生成，而是把 incident-to-technique mapping 當語意相似度問題來做

作者選的不是 flashy 的 agent 或生成式架構，而是比較扎實的 embedding 路線：以 all-mpnet-base-v2 為 base model，針對 incident 與 ATT&CK technique 的語意對齊做 fine-tuning。

這個選擇其實很合理。因為這篇要解的核心不是長篇生成，而是在很多 technique 候選中，把 incident narrative 排到正確的 technique 附近。這比較像 semantic ranking / retrieval 問題，而不是自由生成問題。

資料怎麼來？

• 原始 incident 數量：762 筆。
• 作者用 GPT-5 為每個 incident 產生 100 個語意相近但詞彙不同的 synthetic incident descriptions。
• 經人工審查、去重與品質過濾後，保留 74,986 組 incident-technique pairs。
• 資料切分為 80% / 10% / 10% 的 train / validation / test。

這裡最值得注意的不是「用了 GPT-5」本身，而是作者至少有做兩層節制：

• 人工 review 去掉低品質與重複資料。
• BERTScore 篩選，要求 semantic F1 門檻至少 0.75。

過濾後資料的最低指標仍有 Precision 0.807 / Recall 0.756 / F1 0.781。這不代表 synthetic data 沒問題，但至少代表作者不是把生成資料不加區分地整包灌進去。

還有一個值得注意的訓練細節：hard negative mining

ATT&CK technique 之間本來就有不少語意上很近、但並不相同的項目。作者因此額外做了 hard negative mining，刻意幫每個 technique 找一個「很像、但不是同一個」的 negative，逼模型學更細的區別，而不是只靠粗糙關鍵字分群。

這種設計很重要，因為 CTI / ATT&CK mapping 最常見的錯誤，本來就不是完全亂猜，而是猜到語意鄰近但 operationally 不一樣的 technique。

結果怎麼看？不是神蹟，但有很明顯的實用增幅

論文最核心的結果如下：

• Spearman correlation：0.7894
• Pearson correlation：0.8756
• MAE：0.1352
• MSE：0.0272

跟 baseline 比較時，作者的 fine-tuned 模型 ft_mpnet_v6 相對於：

• all-mpnet-base-v2：Spearman +0.2042
• all-distilroberta-v1：Spearman +0.2118
• all-MiniLM-L12-v2：Spearman +0.2309

錯誤指標的差距也很大。baseline 的 MAE 大約落在 0.48–0.57，而作者模型壓到 0.135；MSE 則從 0.24–0.33 降到 0.027。如果照論文自己的說法，這大致是約 67% 的 MAE reduction。

我覺得這組結果最該怎麼讀？不是把它吹成「已經解完 incident-to-ATT&CK」，而是：

一般用途 embedding 模型不是不能做，但如果你真的想把它放進 cyber risk workflow，用 domain-specific data 把 technique ranking 重新校正，效益是很明顯的。

這篇最重要的價值：把 ATT&CK mapping 從分析任務拉回管理任務

這篇和很多純 extraction paper 最大的不同，在於它不把 technique mapping 當終點。作者明講，目標是三件事：

• 加速 incident triage
• 把 incidents 自動連到對應 security controls
• 再用 quantifiable metrics 持續評估 control implementation

也就是說，它想處理的是 risk operationalization，不是單純 benchmark optimization。這讓它很適合接在近幾篇 CTI 論文後面一起看：

• AZERG 把 threat report 接到 STIX entity / relationship。
• Instantiating Standards 強調 ATT&CK extraction 要對齊標準，不是背資料集。
• ThreatPilot 再往下游推到 procedure 與 Sigma rule generation。
• 這篇 則換一條線：把 incident / ATT&CK 直接接回 control 與 measurable governance。

如果前幾篇比較像在解「情報怎麼抽」，那這篇更像在問：抽完之後，怎麼接進組織的風險管理語言。

我覺得它的限制也很明顯

• synthetic augmentation 很重：74,986 筆資料的核心增量來自 LLM 生成，泛化能力還是要小心看。
• 相關係數高，不等於完整工作流就成熟：incident→technique 排序變好，不代表 control selection 與 metric design 自動就會對。
• Cyber Catalog 的 coverage 是關鍵：如果 ATT&CK–CIS–metric 的 crosswalk 本身不夠完整或更新不夠快，後面全都會受影響。
• 比較少看到真實組織部署回饋：這篇比較像把 operational chain 建好，離 production evidence 還有一步。

換句話說，這篇厲害的地方在 framing 和 integration，不是因為它已經把 cyber risk management 完全自動化。

總結

Operationalising Cyber Risk Management Using AI 值得看的地方，不在於它又做了一個新的 ATT&CK classifier，而在於它抓到了一個很多研究都沒真正補上的洞：威脅情報如果不能接到控制與指標，它就很難真的變成管理行動。

作者提出的 Cyber Catalog，把 MITRE ATT&CK、CIS Controls、SMART metrics 放進同一條 operational chain，再用 fine-tuned sentence transformer 改善 incident-to-technique mapping。它的核心訊息其實很清楚：資安團隊真正缺的，不只是更多 classification model，而是能把 incident、control 與 measurement 接成閉環的知識底座。

如果你關心的不只是 CTI / ATT&CK extraction 本身，而是 cyber risk management、control prioritization、evidence-based security metrics，這篇很值得補。它不算最花俏，但方向很對，而且比很多只停在 label mapping 的 paper 更接近企業真的會用到的那一層。