CVE→CWE 論文閱讀分析：當漏洞情報真正要穩，先別急著往下游跑，最上游的弱點標註可能就還沒站穩
本文由 AI 產生、整理與撰寫。
如果最近這幾篇 sectools.tw 已經一路把 SynthCTI、TRIAGE、ThreatLinker、CVE-LLM 串成一條 vulnerability intelligence 的生產線，那這篇 paper 剛好值得補在更上游的位置：在你把 CVE 接去 CAPEC、ATT&CK、VEX、產品脈絡與 remediation workflow 之前，最基本的那一步——這個 CVE 到底該被歸到哪個 CWE——其實也沒大家想像得那麼乾淨。
論文全名是 Fine-tuning RoBERTa for CVE-to-CWE Classification: A 125M Parameter Model Competitive with LLMs（arXiv:2603.14911）。作者做的事情表面上看起來很樸素：拿一個 125M 參數的 RoBERTa-base 來做 CVE→CWE 分類。但它真正有意思的地方，不在於「小模型也可以做分類」這麼簡單，而在於它直接碰到一個近年資安 AI 很常被忽略的問題：很多 benchmark 上的所謂錯誤，未必真的是模型不懂漏洞，而可能是 ground truth 本身就太粗、太雜、太不一致。
論文基本資訊
- 論文標題：Fine-tuning RoBERTa for CVE-to-CWE Classification: A 125M Parameter Model Competitive with LLMs
- 作者：Nikita Mosievskiy
- 年份：2026
- arXiv：https://arxiv.org/abs/2603.14911
- 主題：Vulnerability Intelligence、CVE、CWE、Weakness Classification、RoBERTa、CTI-Bench、Label Quality
這篇論文到底在解什麼問題？
在漏洞管理世界裡，CVE 是事件條目，CWE 是弱點語言。很多後續工作——像是弱點聚類、風險歸因、修補優先排序、secure coding lesson learned、甚至把 CVE 往 CAPEC / ATT&CK 拉——其實都會先踩在這個映射上。
問題是，NVD 給的 CWE 標註並不總是穩定、細緻或一致。 論文一開始就點得很直接：像 CWE-20（Improper Input Validation） 這類過於泛化的類別，常被當作 catch-all；不同 CNA 之間的標註品質也不一樣；有些案例則根本存在 parent/child granularity mismatch——也就是模型其實抓到了更精確的子類弱點，但 benchmark ground truth 只給了一個很粗的父類。
所以這篇 paper 的核心不只是「做一個分類器」，而是同時在問三件事：
- 能不能用一個小很多的 task-specific 模型，把 CVE→CWE 做到接近大型 security LLM 的水準？
- 如果能，關鍵來自模型架構，還是來自更乾淨的標註資料？
- 現在大家拿來評測的 benchmark，會不會其實把越具體的答案反而算成錯？
這篇最有意思的，不是模型變小，而是資料標註先被重新整理過
作者從 NVD 蒐集了 336,777 個 CVE，清理後留下 318,979 筆可處理資料；其中 244,866 筆本來就有 NVD 給的 CWE，另有 74,113 筆原本沒有標籤。
真正的大動作在這裡：作者不是直接拿 NVD 原始標籤開訓，而是用 Claude Sonnet 4.6 把全部描述重新分類一次，限制在 205 個 CWE 類別 內，做出一份 AI-refined label set。整批成本大約 395 美元。
結果很有意思：
- NVD 與 Sonnet 的 exact CWE match 只有 73.1%
- 若把 parent↔child 的階層等價也算進去，一致率上升到 84.5%
這個數字其實很有殺傷力。它代表大量分歧不是因為誰完全亂標，而是因為一方用粗類別、一方用細類別。也就是說，很多所謂 classification error，實際上更像 taxonomy granularity conflict。
資料切法很聰明，但也故意坦白它有偏差
作者的 split 設計相當務實：
- Validation：27,896
- Test：27,780
- Training：234,770
其中 validation / test 只保留 NVD 與 Sonnet 標籤一致的案例，讓評估集合盡量高信心；training 則用 Sonnet 標籤，把 disagreement cases 與原本無標籤案例一起納進來。
這樣做的好處是：你至少不會在 test set 上拿一堆本來就高度模糊、連人都可能意見不一的樣本來混淆訊號。壞處則是作者自己也很誠實地承認：這會讓 internal test set 偏向比較容易、比較不曖昧的案例。
我反而覺得這份坦白很重要。因為很多 paper 最大的問題不是分數高，而是高分背後的資料條件被藏起來。這篇至少把 bias 直接攤在桌上。
方法其實不花俏：RoBERTa-base + 兩階段 fine-tuning
模型主體很直白，就是 RoBERTa-base 加上一個 205-way classification head，輸入格式也只是：
CVE Description: {text}
但訓練策略不是一把梭，而是兩階段：
- Phase 1：classifier warm-up —— 凍結前 8 層與 embedding，只訓練上層與 head，跑 4 epochs
- Phase 2：full fine-tuning —— 全部解凍，再跑 9 epochs
這種做法不炫，但很合理。因為對這種標籤品質比架構創新更重要的任務來說，重點常常不是把 backbone 換得更大，而是先讓分類頭穩住，再慢慢把整個表示空間往 domain 拉。
作者也做了 ablation，結果顯示第一階段凍結 8/12 層 的配置表現最好。這說明它不是隨便挑一個訓練 recipe，而是真有去驗哪種 fine-tuning 節奏最適合這份資料。
結果怎麼看？Top-1 已經不差，真正拉開差距的是 Macro F1
在 internal held-out test set 上，結果是：
- Top-1 accuracy：87.4%
- Macro F1：60.7%
比較基準是一個其實已經不弱的 TF-IDF + Logistic Regression baseline：
- Top-1 accuracy：84.9%
如果只看 accuracy，會覺得 RoBERTa 只是小贏；但真正該看的其實是 Macro F1 多了 15.5 個百分點。這代表模型的價值不在於把常見類別再多猜對幾筆，而在於它對少數、長尾、語義沒那麼模板化的 CWE 有明顯更好的處理能力。
論文也把 per-class 分佈拆開來看：
- 64 個類別的 F1 ≥ 0.8，覆蓋約 2.2 萬筆樣本
- 104 個類別落在 0.3–0.8
- 32 個類別低於 0.3，且大多只有不到 10 個 test samples
這再次說明一個很現實的事：漏洞分類的瓶頸，很多時候不是模型完全看不懂，而是稀有類別本來就缺樣本、缺穩定詞彙、缺足夠評估支撐。
外部 benchmark 才是這篇真正想打的地方：CTI-Bench 上，小模型追平 8B security LLM
更值得看的其實是 external evaluation。作者把 CTI-Bench 裡的 2,000 個 CVE 全部從訓練資料裡移除，避免 contamination，然後在它的 RCM（CVE→CWE mapping）任務上測試。
結果是：
- 本篇 RoBERTa 模型：75.6% strict accuracy
- Cisco Foundation-Sec-8B-Reasoning：75.3%
作者沒有硬吹自己超越，而是很老實地說：差 0.3 個百分點沒有統計顯著性，重點是 competitive，不是 superiority。
但這裡真正亮眼的地方在於參數效率：125M vs 8B，約 64 倍參數差距。 這並不代表小模型全面贏過大模型，因為後者是 general-purpose security LLM，能做的不只 CWE 分類；但它確實告訴我們一件很值得記住的事：
對任務邊界明確、輸入格式穩定、標籤定義可控的安全問題來說，資料品質與任務對齊，往往比一味追求更大的模型更重要。
這篇最值得記住的洞見：benchmark 很可能在懲罰更精確的答案
論文裡我覺得最有價值的部分，不是分數，而是對 CWE hierarchy granularity gap 的分析。
例子很典型：若 ground truth 給的是比較粗的 CWE-119 或 CWE-787，但模型預測的是更具體的 CWE-121（Stack Buffer Overflow） 或 CWE-122（Heap Buffer Overflow），在 strict exact match 下它照樣算錯。
從 benchmark 角度看，它錯了；但從 analyst 角度看，它可能其實答得更有用。
作者做了 hierarchy-aware evaluation 後，內外部成績差距幾乎被補平：原本 internal 87.4% vs CTI-Bench 75.6% 的落差，很大一部分其實不是 domain shift，而是標註顆粒度不一致。論文甚至指出，這個 granularity mismatch 大約解釋了 10.9 個百分點 的外部落差。
這個觀察很重要，因為它不只影響這篇 paper，也直接影響整個 vulnerability intelligence benchmark 生態：如果評測機制只接受欄位級 exact match，那些更具體、對防禦更有價值的輸出，反而容易被誤算成錯誤。
作者還特地處理了一個敏感問題：為什麼要相信 AI refined label？
這篇很容易被質疑的點是：你用 Sonnet 重新標籤，又用 agreement-filtered test set 評估，會不會只是把 Sonnet 偏好洗成自己的標準答案？
作者沒有迴避，還特別做了 100 筆 NVD–Sonnet disagreement 的人工抽樣審查。結果：
- 72% 的案例裡，Sonnet 給的是更精確或更合理的 CWE
- NVD 明顯更準的只有 3%
當然，這個人工驗證也不是完美：審查者不是 CWE taxonomy 專家，而且樣本量還是有限。但它至少提供了一個有用訊號：AI relabeling 在這個任務上未必是在污染資料，反而可能是在把原始標註拉向更一致、更細緻的狀態。
這篇和最近幾篇的關係是什麼？
如果把它放進最近這串文章脈絡裡，位置其實很清楚：
- ThreatLinker 在補 CVE → CAPEC attack pattern
- TRIAGE 在補 CVE → ATT&CK exploitation / impact
- CVE-LLM 在補 CVE × product context 的 operational evaluation
- 這篇 RoBERTa paper 則是回頭把更上游的 CVE → CWE 這個基礎標準化先重新整理乾淨
也就是說，它沒有把漏洞 intelligence 鏈再往下游延伸，而是提醒我們：如果上游弱點語意本身就粗糙、混亂、階層不一致，那你後面接再多 graph、mapping、RAG、agent orchestration，都可能只是把模糊性一路放大。
它的限制也很明顯
- 單標籤假設：每個 CVE 只對應一個 CWE，但真實世界裡不少漏洞其實有複合弱點成分。
- 205 類別限制：少見 CWE 不在 vocabulary 內時，模型只能被迫映到最近似的已知類。
- 只看英文描述文本：沒吃 CVSS、CPE、產品 metadata 等其他結構化上下文。
- internal metrics 帶有 agreement-filter bias：87.4% 這個數字不該被直接當成真實世界任意 CVE 的準確率。
- 尚未比較其他 encoder：像 SecureBERT、DeBERTa-v3 若配同樣標籤與流程，也許還有空間。
但這些限制並沒有削弱它的核心價值，反而讓它的訊息更清楚：它不是要證明一個萬能漏洞模型出現了，而是證明資料對齊、標籤細化與任務定義，足以讓一個小很多的模型在明確任務上打出非常像樣的結果。
Takeaway
如果要把這篇 paper 濃縮成一句話，我會這樣寫：
在 vulnerability intelligence 裡，很多人以為瓶頸是模型不夠大，但這篇提醒我們，真正更常卡住的，可能是弱點標註本身太粗、太雜、太不一致。
Fine-tuning RoBERTa for CVE-to-CWE Classification 最值得看的，不只是它用 125M 參數追平 8B security LLM，而是它把一個常被忽略的真相講清楚：當 benchmark 只接受 exact match，卻不理解 taxonomy hierarchy 時，它有時候懲罰的不是錯誤，而是更精確的答案。
對正在做漏洞分類、弱點知識圖、產品風險歸因、或想把 CVE 流程接進更大 CTI pipeline 的人來說，這篇很值得讀。因為它不是在告訴你「小模型打敗大模型」，而是在告訴你一件更實際的事：先把 label 與任務定義整理對，很多事情會比你想像中更容易。