SEvenLLM 論文閱讀分析：把 CTI 做成雙語多任務指令資料後，LLM 真的更懂威脅分析了嗎？

本文由 AI 產生、整理與撰寫。

近一年談 CTI 與大型語言模型的論文很多，但其中不少工作其實只碰到問題的一部分：有些論文重點在 benchmark，想知道模型在威脅情報問答、ATT&CK 判讀或事件推理上到底做得多好；有些工作則偏向系統實作，試著把 RAG、agent 或 workflow orchestration 接進 analyst pipeline。相較之下，SEvenLLM 這篇論文的企圖心更完整一些。作者不是只想證明「LLM 可以做 CTI」，而是試圖回答一個更基礎、也更實際的問題：如果我們真的想把 LLM 往資安分析助手的方向推，資料、任務、模型與評測四個環節到底該怎麼一起補齊？

這也是我認為這篇論文值得仔細讀的原因。它不是把 CTI 當成一般 NLP 的一個應用例子，而是把威脅情報分析視為一組具體而異質的工作：其中有資訊抽取、有事件理解、有風險判斷、有關聯分析，也有接近 incident response planning 的生成任務。從研究生讀論文的角度來看，SEvenLLM 真正重要的地方，不只是最後分數有沒有提升，而是作者如何把這條技術路線拆成幾個可以被實作、被驗證、也被後續研究接續利用的部件。

論文基本資訊

• 論文標題：SEvenLLM: Benchmarking, Eliciting, and Enhancing Abilities of Large Language Models in Cyber Threat Intelligence
• 作者：Hangyuan Ji, Jian Yang, Linzheng Chai, Chaoren Wei, Liqun Yang, Yunlong Duan, Yunli Wang, Tianzhen Sun, Hongcheng Guo, Tongliang Li, Changyu Ren, Zhoujun Li
• 單位：State Key Laboratory of Complex & Critical Software Environment, Beihang University
• 年份：2024
• 論文連結：https://arxiv.org/abs/2405.03446
• 專案頁面：https://github.com/CSJianYang/SEevenLLM

研究問題：為什麼通用 LLM 還不夠成為 CTI 分析助手？

這篇論文的起點其實相當清楚。作者認為，雖然通用 LLM 已經展現不錯的語言理解與生成能力，但要把它真的放進 cyber threat intelligence 場景，還少了三個關鍵基礎建設：

1. 高品質、任務導向的 CTI 指令資料集：沒有對應資料，模型很難學會資安分析真正關心的輸入輸出格式與知識焦點。
2. 領域專用的 instruction-tuned 模型：即使底模很強，若沒經過 CTI 對齊，輸出仍可能停留在泛泛而談的層次。
3. 針對 CTI 任務設計的 benchmark：如果只有一般問答或零散案例，很難系統性比較模型在威脅情報場景下到底進步多少。

因此，SEvenLLM 的工作不是單純做模型 fine-tuning，而是同時提出三個互相支撐的構件：

• SEvenLLM-Instruct：雙語、多任務的 CTI instruction corpus
• SEvenLLM：基於開源底模微調的 CTI 導向模型
• SEvenLLM-Bench：評估 CTI 任務能力的 benchmark

從方法論角度看，這種做法很像在補齊一條最基本的研究鏈：先定義任務，再建資料，再做對齊，最後用評測去驗證。這比單點式展示一個 prompt engineering trick 要紮實得多。

資料來源與建構思路：先有真實 CTI 文本，才談得上任務對齊

作者首先蒐集了超過一萬個資安事件網站資料，來源包含國內外資安廠商官方報告與網路媒體公開新聞。經過去重、格式處理與啟發式清理之後，最後保留下來的 seed corpus 包含：

• 6,706 篇英文高品質報告
• 1,779 篇中文高品質報告

這一步看似只是資料蒐集，但其實很重要。因為 CTI 任務的困難不只是「資安很專業」，而是原始文本本身具有幾個特性：來源格式不一致、敘事粒度差異很大、實體與關係常常散落在不同段落，還會混雜媒體敘事、廠商分析、技術細節與事件時間線。若資料本身不是從真實 CTI 文本長出來，後面的 instruction tuning 很容易只學到一層表面任務形式，而不是 analyst 真正在處理的輸入類型。

此外，作者特別保留中英雙語資料，這一點也值得注意。很多 CTI/LLM 論文仍然幾乎完全建立在英文語料上，但實際威脅情報工作往往涉及跨語言資訊蒐集、地區性事件通報與非英語開源情報。SEvenLLM 至少在設計上承認了這件事：如果你要做能落地的 CTI 模型，雙語能力不是附加選項，而是結構性需求的一部分。

核心方法：用 Select-Instruct 把原始 CTI 文本轉成任務導向監督資料

SEvenLLM 真正的方法重點，在於它不是直接人工標註數萬筆 instruction data，而是設計一個改良版的 Select-Instruct 流程，把 raw CTI corpus 轉成監督式問答資料。作者的流程大致可以拆成兩階段：

1. 任務選擇階段：先用 LLM 根據原始文本與 task pool 選出適合的任務，產生 task seeds。
2. 指令生成階段：再把 task seeds 與原始文本一起餵給模型，要求其生成 instruction、answer，以及對應的 reasoning process。

這裡最值得注意的，不是「有沒有用 GPT-4 幫忙生成」，而是作者沒有採最粗暴的 self-instruct 方式，而是先把任務空間限制在明確定義的 CTI 任務池中，再要求模型從文本中選擇適合任務並生成對應 supervision。這樣做的目的是降低資料噪音，讓生成結果與 CTI 任務定義更一致。

論文也提供了和一般 self-instruct 的比較。作者報告說，使用改良後流程時，在 44,240 筆生成資料中只有 24 筆錯誤與 37 筆空輸出；相比之下，self-instruct 版本產出 41,296 筆，但有 78 筆錯誤與 1,182 筆空輸出。從研究設計角度來看，這裡的訊息很明白：在 CTI 場景下，任務選擇與生成約束是資料品質的關鍵，不是只要讓模型大量生資料就夠了。

任務設計：作者如何把 CTI 拆成可訓練、可評測的 28 個子任務？

如果要找這篇論文最有研究價值的一部分，我會選它的 task taxonomy。作者將 CTI 分成 13 個 understanding tasks 與 15 個 generation tasks，合計 28 個子任務。這不是單純羅列題目，而是把 analyst 在處理威脅情報時可能做的事情系統化。

理解型任務（Understanding Tasks）

這一組任務的目標，是把非結構化 CTI 文本轉成結構化知識。代表例子包括：

• Key Entity Recognition：抽出 attacker、victim、CVE、IOC、email、IP 等主要實體
• Main Relation Extraction：抽出 attacker、victim、attack method 等實體間關係
• Important Event Extraction：抓事件類型、時間、位置、影響等關鍵要素
• Malware Feature Extraction：抽取惡意程式特徵、利用方式與傷害
• Attack Tool Identification、Vulnerability Intelligence Extraction、Attacker Information Extraction 等

這些任務本質上屬於資訊抽取與結構化理解問題，但因為 CTI 文本高度情境化，所以比一般 NER/RE 更貼近專家工作流。例如，「Attacker Information Extraction」不只是抽名稱，還可能涉及行為指紋、來源特徵與對抗手法的整理。

生成型任務（Generation Tasks）

另一組任務則偏向 analyst-facing 的高層輸出，包括：

• Vulnerability Exploitation Analysis
• Attack Means Analysis
• Attack Strategy Analysis
• Correlation Analysis
• Attack Intent Analysis
• Threat Analysis
• Risk Assessment
• Protection Strategy Research
• Incident Response Planning
• Summary Generation、Security Alert Generation 等

這一組任務的意義在於，它讓 CTI 不再只是「抽欄位」而已，而是進一步涉及判讀、歸納、風險評估與應變建議。從研究生角度讀這裡時，可以注意到作者其實暗示了一個更深的觀點：CTI 不是單一 NLP task，而是一組跨 extraction、classification、reasoning、planning、summarisation 的複合式工作。 這也說明了為什麼只拿一個 benchmark 或一種 prompt 來評估資安模型，常常會低估問題複雜度。

SEvenLLM-Bench：評測不只看生成，還同時看多選題與雙語 QA

在 benchmark 設計上，作者使用兩種題型：

• Multiple-choice questions (MCQ)
• Query-answer questions (QA)

整體規模方面，SEvenLLM-Instruct 接近 90K 筆樣本，而 SEvenLLM-Bench 含有 1,300 筆測試樣本。測試集拆開來看則包括：

• 中文 MCQ 50 題、英文 MCQ 50 題
• 中文 QA 600 題、英文 QA 600 題

這裡的設計有兩個優點。第一，MCQ 題型讓評估結果比較容易客觀比較，不會完全依賴開放式生成的模糊打分；第二，雙語 QA 讓模型是否真正具備 bilingual CTI 能力成為 benchmark 的一部分，而不是寫在 abstract 裡但評測時不處理。當然，這個 benchmark 仍以文字理解與生成為主，離真實 SOC 中的 log fusion、alert correlation 或 ticket workflow 還有距離，但就 CTI 文本層面的分析任務來說，已經比很多只做零散案例的工作完整得多。

模型訓練：多任務 instruction tuning 的形式化定義

SEvenLLM 並沒有從零訓練 foundation model，而是基於現成開源底模進行領域對齊。底模包含：

• Llama2-Chat 7B / 13B
• Qwen1.5-Chat 7B / 14B

作者將 query、thought 與 answer 一起納入 supervision。從論文公式來看，模型學習的不是單純的 P(answer | query)，而是同時建模 P(answer, thought | query)，也就是讓 reasoning step t_k 成為訓練目標的一部分。整體 loss 則是跨語言、跨任務資料上的 multi-task objective。

訓練設定方面，作者使用：

• epoch = 3
• batch size = 128
• learning rate = 2e-5
• cosine scheduler + 3% warmup

雖然這些參數本身不是論文最創新的地方，但它們說明了作者的策略是典型的 practical domain adaptation：不追求重新發明底模，而是利用多任務 instruction tuning，把通用模型對齊到 CTI 的輸入輸出與知識焦點。

實驗結果：SEvenLLM 到底提升了什麼？

作者從三種角度評估生成任務表現：Rouge-L、semantic similarity 與 GPT-4-based evaluation；另以 MCQ 正確數評估較客觀的理解與推理能力。整體結果方向相當一致：經過 SEvenLLM-Instruct 微調後，模型幾乎都明顯優於原始底模。

1. Rouge-L：任務對齊確實補強了 generation output

從 Table 3 來看，平均 Rouge-L 分數如下：

• Llama2-Chat 7B：57.5
• Llama2-Chat 13B：54.7
• Qwen1.5-Chat 7B：72.0
• Qwen1.5-Chat 14B：69.8
• SEvenLLM (Llama 7B)：80.1
• SEvenLLM (Llama 13B)：80.1
• SEvenLLM (Qwen 14B)：79.6

這個結果至少說明兩件事。第一，CTI instruction data 的確有效，因為即使原本較弱的 Llama baseline，也能在微調後大幅拉升。第二，模型的 domain alignment 對 generation quality 的影響，似乎比單純換一個更大的通用底模還重要。

2. Semantic similarity 與 GPT-4 評估：提升不只停在字面匹配

在 semantic similarity 上，SEvenLLM (Qwen 7B) 的 overall score 為 80.8，SEvenLLM (Llama 13B) 為 81.6；都明顯高於未微調底模。以 GPT-4 evaluation 而言，SEvenLLM (Qwen 7B) 達到 81.2，SEvenLLM (Llama 13B) 為 80.7，也明顯優於原始 Llama2-Chat 13B 的 73.0 與 Qwen1.5-Chat 14B 的 79.8。

這裡可以解讀為：模型不是只在字串表面更接近答案，而是在語義層次上更能對齊 CTI 任務要求。不過也要注意，semantic similarity 與 GPT-4 evaluation 仍然屬於 proxy metric，尤其對 threat analysis、risk assessment 這類任務來說，高分不等於真的能安全部署到真實工作流。

3. MCQ：大模型與經過對齊的模型在客觀題上仍有明顯優勢

在 MCQ 測試中，代表性數字包括：

• Llama2-Chat 7B：53
• Qwen1.5-Chat 14B：92
• SEvenLLM (Llama 13B)：96
• SEvenLLM (Qwen 14B)：96

這表示對於較明確的知識型或推理型題目，經過 CTI 對齊的模型確實更能抓住正確答案。從 benchmark 設計的角度看，這也讓作者避免完全依賴 open-ended generation 的主觀評估。

一個有意思的觀察：CoT 並沒有穩定帶來更好結果

作者另外測試了 SEvenLLM + CoT，但結果並沒有穩定優於原始 SEvenLLM。以 Rouge-L 而言，Llama 7B 版本從 80.1 降到 78.9；Llama 13B 版本也從 80.1 降到 78.9。這個現象很值得記一筆，因為它提醒我們：不是所有 CTI 任務都會因為額外展開 chain-of-thought 而變好。

合理的解釋是，很多任務其實更偏向精準抽取、定向摘要與結構化理解，未必需要冗長的顯式推理鏈。若任務本身更像 knowledge grounding 或 information extraction，那麼 forcing CoT 反而可能增加生成雜訊。這對近來喜歡把「多想幾步」當通用解法的資安 agent 工作來說，是一個值得小心的反例。

資料品質驗證：作者有沒有完全相信 GPT-4？沒有

這篇論文另一個讓我覺得比較紮實的點，是作者沒有完全把資料品質外包給 teacher model。雖然 instruction data 與 benchmark 的生成流程仰賴 GPT-4，但作者仍找了三位專家對 test set 做人工檢查，最後報告整體需要修正的比例約為 17%。

這個數字其實很有訊息量。它表示兩件事：

• 第一，GPT-4 在 CTI 場景下確實可以成為資料建構加速器，但並不可靠到可以完全跳過人工驗證。
• 第二，若後續有人沿用這類 pipeline 建資安資料集，human-in-the-loop 不是加分項，而是必要條件。

對研究生來說，這也是閱讀這篇論文時應該特別留意的地方：作者真正做的不是「用 GPT-4 自動產資料」，而是「用 GPT-4 產資料，再用任務設計與人工校驗控制品質」。兩者差很多。

這篇論文的價值：它補的是 CTI LLM pipeline 的中下游基礎建設

如果把 SEvenLLM 放回最近幾篇 CTI/LLM 論文的脈絡來看，它的位置相當清楚。像 CTIBench、AthenaBench、AttackSeqBench 比較像在回答「模型到底會不會做某類 CTI 任務」；CyberRAG、IRCopilot、AutoBnB-RAG 這些工作則更偏 workflow 與 system integration。SEvenLLM 補的則是比較偏中下游的一層：若想讓模型對齊 CTI，資料該怎麼造、任務該怎麼定、模型該怎麼調、測試該怎麼做。

也就是說，這篇論文的貢獻不只是做出一個叫做 SEvenLLM 的模型，而是提供一個比較完整的藍圖：從 raw CTI text 到 task taxonomy，再到 instruction corpus、domain-specific tuning 與 benchmark。對後續研究者而言，這份藍圖的價值甚至可能比單次分數提升更重要。

限制與批判：SEvenLLM 還缺什麼？

當然，這篇論文也有明確限制。

• 任務仍偏文字中心（text-centric）：它主要處理的是安全報告、事件敘述與文字型威脅情報，尚未真正進入 log fusion、alert stream correlation、artifact-level investigation 等更貼近 SOC 現場的多模態工作。
• benchmark 與實務部署仍有距離：即使 generation 與 MCQ 分數提升，也不代表模型已經具備可直接進入 incident response 決策的可靠性。
• 資料生成對 teacher model 有依賴：雖然作者做了人工修正，但整個指令資料製程依然建立在 GPT-4 的能力上，這會帶來可重現性與 teacher bias 問題。
• 多任務廣度與任務深度之間仍有張力：28 個任務很完整，但個別任務是否都被學得夠深，光從 aggregate score 其實還看不太出來。

不過，這些限制大多屬於研究方向本身的難題，而不是 SEvenLLM 一篇論文獨有的缺點。以一篇 2024 年的基礎建設型工作來說，它已經算是相當完整。

重點整理

• SEvenLLM 的目標不是只做一個 CTI 模型，而是同時補齊 instruction corpus、domain-specific LLM 與 benchmark 三個環節。
• 作者從真實世界資安事件文本中蒐集 6,706 篇英文與 1,779 篇中文高品質報告，作為雙語 CTI 種子資料。
• 核心資料建構方法是改良版 Select-Instruct：先從 task pool 選任務，再生成 instruction、answer 與 reasoning，以降低資料噪音。
• 作者把 CTI 拆成 13 個 understanding tasks與 15 個 generation tasks，這份 task taxonomy 本身就是重要貢獻。
• SEvenLLM-Bench 同時包含 MCQ 與 QA，並正式把中英雙語納入測試設計。
• 多項實驗顯示，經過 CTI instruction tuning 後，模型在 Rouge-L、semantic similarity、GPT-4 evaluation 與 MCQ 上都明顯優於原始底模。
• CoT 並未穩定帶來額外提升，表示 CTI 任務不一定適合一味增加顯式推理鏈。
• 即使使用 GPT-4 生成資料，作者仍需人工專家校驗，反映 human-in-the-loop 在 CTI dataset construction 中依然必要。

Takeaway

從研究生讀論文的角度來看，SEvenLLM 最值得記住的，不是它做出了一個 CTI 專用模型，而是它把「如何讓通用 LLM 朝威脅分析工作流靠近」這件事，拆成了可被研究、可被實作、可被評測的幾個層次。它提醒我們，LLM 在 CTI 場景裡是否有用，關鍵往往不在底模本身有多大，而在於你是否有合適的任務定義、足夠乾淨的 instruction data、合理的領域對齊方式，以及能反映實際需求的 benchmark。這也是為什麼 SEvenLLM 雖然不是最花俏的論文，卻是相當值得保留在閱讀清單裡的一篇。

免責聲明

本文由 AI 產生、整理與撰寫，內容主要依據公開論文、技術文件與可取得之研究資料進行彙整、解讀與摘要。儘管已盡力確保內容之完整性與可讀性，仍可能因模型理解限制、資料來源差異、語意轉譯過程或資訊更新時間差而存在疏漏、不精確或更新延遲之處。本文內容僅供研究交流與知識分享參考，實際技術細節、實驗設定與最終結論，仍應以原始論文、官方文件及作者公開資料為準。