RedSage 論文閱讀分析：我們終於開始認真打造真正懂資安工作的通才型 LLM 了嗎？

論文基本資訊

• 論文標題：RedSage: A Cybersecurity Generalist LLM
• 作者：Naufal Suryanto、Muzammal Naseer、Pengfei Li、Syed Talal Wasim、Jinhui Yi、Juergen Gall、Paolo Ceravolo、Ernesto Damiani
• 來源：ICLR 2026（亦公開於 arXiv:2601.22159）
• 年份：2026
• 主題：Cybersecurity LLM、Domain-Specific Pretraining、Agentic Data Augmentation、Benchmark、SOC、CTI
• 論文連結：https://arxiv.org/abs/2601.22159
• 專案頁面：https://risys-lab.github.io/RedSage/

這篇 RedSage 值得寫，不是因為它又做出一個新的資安模型而已，而是因為它直面了一個現在很多團隊都已經感受到、但還不容易講清楚的問題：如果通用 LLM 對資安真的還是不夠穩，那我們究竟需要的是一個更大的通用模型，還是一個真正為資安工作流重新打造的「資安通才模型」？

這篇論文給出的答案很明確。作者不是只拿少量 security Q&A 資料去微調一個現成模型，也不是只做一個好看的 leaderboard，而是把整件事拆成三層一起做：

• 先做資安領域持續預訓練，讓模型真的吸收框架、攻防知識、工具語境與安全語料分佈。
• 再用 agentic augmentation 製造多輪資安對話資料，讓模型不是只會答題，而是開始比較像助理、分析師與操作員。
• 最後自己做一個兼顧知識、技能、工具能力與開放式回答品質的 benchmark，避免只靠零碎的舊 benchmark 來拼湊成績。

如果最近你已經看了很多 CTI / benchmark / SOC automation 論文，那麼 RedSage 很像是把前面散落的問題重新收束成一句更大的追問：我們到底能不能做出一個本地可部署、開源、又真的懂資安工作的 generalist assistant？

這篇論文想解決的，不只是「資安答題」

作者開頭點出的問題很準。現在資安現場對 LLM 的需求，早就不只是問答系統而已。真實工作裡需要的能力包含：

• 閱讀與整理威脅情報
• 理解框架與漏洞知識
• 協助 incident response 與 security monitoring
• 理解 CLI / Kali / 安全工具的操作語境
• 在保護敏感資料前提下支援本地部署

而現況通常卡在兩個極端：

• 閉源商業模型能力夠強，但有資料外送、隱私與可控性風險。
• 開源模型可以本地部署，但常常沒有真正被資安語料與工作流充分塑形。

也就是說，今天的問題不是「LLM 能不能做資安」，而是：能不能做出一個既保有開源可控性，又真的懂得資安知識、攻防技能與工具使用脈絡的模型。

RedSage 的野心，正是在這裡。它不是要做某一個單點任務的專用模型，而是要做一個可以橫跨 knowledge、skills、tools 三個層面的資安通才型 assistant。

論文的核心主張：資安模型不能只靠單一訓練階段長出來

我覺得這篇最值得注意的地方，是它對現有資安 LLM 路線的批評其實非常具體。作者認為，很多既有工作都有一個共同問題：只強調某一個訓練階段，卻忽略另外兩段。

• 有些工作做了 continued pretraining，但後訓練資料很少。
• 有些工作堆了大量 SFT 問答資料，但沒有處理底層 domain knowledge 的吸收。
• 有些 benchmark 只測知識，不測工具能力；或只測 MCQ，不測開放式回答品質。

RedSage 的方法則很完整，整條管線可以濃縮成下面這樣：

資安網路語料 + 高品質 curated 資料
  ↓
持續預訓練（continual pretraining）
  ↓
agentic augmentation 生成多輪資安對話
  ↓
SFT + preference alignment
  ↓
用自建 benchmark + 既有公開 benchmark 做完整評估

這樣的設計其實透露出一個很重要的觀念：資安助理模型的能力，不會只靠「多看一些 security 文章」自動長出來，也不會只靠「多做一些 instruction tuning」補起來；它需要知識、流程與評估三件事一起被重建。

第一部分：11.8B tokens 的資安領域持續預訓練，到底在補什麼？

RedSage 的第一個重量級工程，是建出一個資安導向的預訓練資料管線。作者從大規模網路語料出發，先做資安內容過濾，再混入一般知識資料避免 catastrophic forgetting，最後得到用於 continued pretraining 的 CyberFineWeb。

論文提供的關鍵數字包括：

• 從大規模 web corpus 中篩出約 125M 篇資安候選文件
• 混入 general-knowledge replay 後做去重與整理
• 最終在計算資源限制下，實際用於模型訓練的是約 11.7B～11.8B tokens

這裡最值得注意的不是數字本身，而是作者很清楚地處理了兩個 domain pretraining 常見風險。

1. 不能只追求「越資安越好」，否則會忘掉一般能力

很多 domain adaptation 的失敗案例，其實不是模型學不到領域知識，而是學完之後把原本的一般推理、指令遵循與語言流暢度一起犧牲掉。RedSage 因此保留了 30% 的一般知識 replay ratio，刻意避免模型只剩下窄域背誦能力。

這一點很重要，因為真實 SOC / CTI 現場並不是一個只會出現 structured security facts 的世界。分析師每天面對的是混雜的自然語言報告、命令列輸出、政策文件、甚至口語化需求。如果模型一旦 domain-adapt 之後反而失去一般 assistant 能力，那它就不會是通才，只會變成窄域考題機器。

2. 光靠大規模爬蟲不夠，還要補高品質種子資料

作者也知道，web-filtered corpus 的覆蓋面雖大，但可靠性未必一致。所以他們另外整理了 RedSage-Seed，作為高品質的 curated security corpus。來源涵蓋：

• MITRE、OWASP、NIST 等框架與知識庫
• 滲透測試 write-up、攻擊技巧與 payload 範例
• CLI cheat sheets、Linux manuals、Kali tools 文件

這批資料總共有 28,637 個分類樣本，約 0.15B tokens；另有額外約 459K 份 trusted cybersecurity dumps，提供更多預訓練語料。

也就是說，RedSage 的預訓練不是單純「多收集一些安全文章」，而是同時兼顧：

• 大規模網路分佈
• 高品質資安框架知識
• 真實攻防技巧文本
• 工具與命令操作語境

這正是它後面能談「generalist」的基礎。因為資安通才若只懂框架、不懂工具，或只會工具、不懂威脅知識，都不算完整。

第二部分：這篇真正有意思的地方，是 agentic data augmentation

如果說 continued pretraining 解決的是「模型有沒有看過足夠多的資安世界」，那 RedSage 的第二步要解的，就是模型會不會以一種比較像分析師助理的方式工作。

作者沒有停在靜態問答資料，而是設計了一個 agentic augmentation pipeline，把種子資料轉成多輪對話式的資安任務資料。這個流程的骨架大致如下：

seed data chunk
  ↓
Planner Agent 分析技能集合與可轉化策略
  ↓
Augmenter Agent 依計畫生成 grounded multi-turn dialogue
  ↓
檢查格式、內容一致性、主題相關性
  ↓
形成 RedSage-Conv 作為 SFT 資料

最後，這條管線產生了約 266K 筆多輪資安對話，總量約 352M tokens。從論文表格來看，這些資料分布在三個大類：

• Knowledge：一般資安知識與框架知識
• Skills：偏攻防實務與操作理解
• Tools：CLI 與 Kali 工具能力

作者特別強調，Planner Agent 不只是套模板，而是先對 seed data 分析可萃取的 skill sets，再決定要怎麼把資料轉成對話、Q&A、步驟解釋或角色式任務。這點比起傳統「把文件切塊後硬生成 instruction data」成熟很多。

為什麼這一步很關鍵？

因為很多資安模型其實都有一個共同弱點：知道名詞，不等於知道怎麼幫人工作。

舉例來說，一個模型可能知道 MITRE ATT&CK 的 technique 定義，也知道 nmap、grep、tcpdump 這些工具名稱，但當你真的把它放進工作流裡，它未必知道：

• 面對一個需求該先拆哪些步驟
• 什麼時候該解釋原理，什麼時候該給命令
• 怎麼在多輪互動中維持上下文與目的
• 怎麼把文件知識轉成 analyst 可用的回答

agentic augmentation 的價值，正是在這裡。它不是只讓模型「再多看幾題安全考題」，而是讓模型接觸比較像真實助手工作型態的資料分佈。換句話說，RedSage 想要學的不只是知識，還有資安任務的互動形式。

第三部分：RedSage-Bench 為什麼值得注意？

這篇論文另一個很重要的貢獻，是作者沒有只把模型訓好就算了，而是自己做了一套更接近「資安通才能力」的 benchmark：RedSage-Bench。

它包含兩個層面：

• 30K multiple-choice questions
• 240 open-ended Q&A

而且它刻意同時覆蓋三大能力軸：

• 知識（knowledge）
• 技能（skills）
• 工具熟練度（tool proficiency）

這比很多現有 benchmark 更完整。論文在對照表裡很明白地指出，多數資安 benchmark 通常只測：

• 知識，不測工具
• MCQ，不測自由回答品質
• 某些應用任務，不做系統性全域覆蓋

RedSage-Bench 想補的缺口，是「如果你真的想評估一個資安 assistant，而不是一個資安考生，那你就不能只看選擇題答對率」。

它怎麼建立 benchmark？

作者先從 RedSage-Seed 生成 MCQ 與 open-ended 問答，再做 multi-stage verification：

• Stage 1：檢查結構正確性、答案合理性、干擾選項品質、主題一致性
• Stage 2：再對題目做品質打分，保留高分題目
• Open-ended QA：用 reference-based LLM judge + 人工確認做最終保留

作者還做了 data decontamination，移除和 benchmark 問題語意相近的訓練資料，避免 benchmark 洩漏。這點值得肯定，因為現在很多自建 benchmark 最大的爭議就是：你到底是在測泛化，還是在測自己剛剛餵過模型的東西？

RedSage 到底比誰好？實驗結果怎麼讀？

先看最核心的主張：作者宣稱在 8B 規模下，RedSage 在資安 benchmark 上比 baseline 最多高出 +5.59 分，在一般 LLM leaderboard 任務上也可高出 +5.05 分。這個訊息很重要，因為它顯示 domain adaptation 不一定要以犧牲 general ability 為代價。

1. 在自建 RedSage-Bench 上，RedSage-8B-Ins 幾乎直接把 8B 級 baseline 拉開

論文表格顯示，在 RedSage-Bench 的 MCQ 評估裡：

• Qwen3-8B-Base：84.24%
• RedSage-8B-Base：85.05%
• RedSage-8B-Ins：85.73%

如果看 instruct model，RedSage-8B-Ins 相較 Qwen3-8B（non-thinking）提升更明顯，大約高出 3.88 個百分點。而且論文特別提到，RedSage-8B-Ins 的平均表現甚至超過 Qwen3-32B。這個訊號很強：表示高品質 domain-aware training pipeline，真的可能比單純放大模型參數更有效。

2. 開放式問答才真正顯示出 alignment 與 assistant quality 的差距

作者認為，MCQ 只能測到一部分能力，所以他們另外做 open-ended QA 評估。結果顯示：

• RedSage-8B-DPO 在 correctness 與 answer quality 上都是最佳
• 比第二名模型在 mean correctness 上還多出約 7% absolute
• 在 quality score 上也領先約 0.07

這裡很值得注意的一點是：RedSage-8B-Ins 與 RedSage-8B-DPO 的差異，顯示 preference alignment 不只是讓回答更安全或更禮貌，而是實際影響回答是否更完整、可用、像一個真正能協作的 assistant。

3. 在既有公開 benchmark 上，它不是只在自己出的題上贏

如果 RedSage 只在 RedSage-Bench 上贏，那說服力其實有限。但作者還把模型丟到多個既有 benchmark 上測，包括：

• CTI-Bench
• CyberMetric
• SECURE
• SecBench
• MMLU-CSec
• SecEval

專案頁面彙整的結果顯示，在相關資安 benchmark 的平均成績上：

• RedSage-8B-Ins：81.30%
• Qwen3-8B：75.71%
• Foundation-Sec-8B-Ins：75.44%

這個差距其實不小。因為它代表 RedSage 不只是對自家資料分佈更熟，而是真的在既有資安知識與應用型 benchmark 上，穩定拉開與一般 8B 模型的距離。

這篇論文真正重要的訊息：工具能力被正式拉進 benchmark 主舞台

我認為 RedSage 最大的亮點，不只是它做了一個成績更高的模型，而是它把一件長期被忽略的事情正式制度化了：工具能力（tool proficiency）本身，應該被視為資安模型核心能力的一部分。

這點很關鍵。因為資安工作不是純文字推理。很多任務的中介語言根本不是自然語言，而是：

• 命令列指令
• 工具參數
• 輸出解析
• 腳本片段
• 框架與工具之間的操作轉譯

如果一個模型只會回答「什麼是 SQL injection」，卻不會把需求轉成合理的命令、步驟或工具語境，那它對 SOC、IR 或研究現場的幫助還是有限。RedSage 在 benchmark 設計上主動把 CLI 與 Kali 工具納入，等於把這個長期隱形的能力面向攤到桌面上。

而從結果來看，工具題目也是最難的。論文提到，knowledge 類別的分數通常比較高也比較穩，skill 居中，而 tool-use 任務的分布更低、更重尾。這很合理，也再次說明：真正難的不是讓模型背答案，而是讓模型在操作語境裡保持可靠。

RedSage 對 CTI / SOC / 本地部署團隊的意義

這篇論文之所以符合 sectools.tw 主線，是因為它雖然不是只做 CTI，但它對 CTI 與 SOC 團隊有非常直接的啟發。

第一，它提供了一條「本地可部署的資安 assistant」更可信的技術路線

對很多資安團隊來說，最大的障礙從來不是不知道 LLM 好不好用，而是不敢把敏感資料送出去。RedSage 的定位是 open-source、locally deployable，這意味著它不是只在論文裡追求更高分，而是在回應一個真實產業需求：如何在不把資料暴露給外部 API 的情況下，仍然擁有像樣的資安助理能力。

第二，它證明了 CTI / benchmark / security tools 不必切開做

最近很多論文是單點突破：有些做 CTI benchmark、有些做 detection rule generation、有些做 incident response agents、有些做資安知識問答。RedSage 的價值在於，它試圖把這些能力底層所需的共通元素整合起來：知識、技能、工具。

這意味著，未來很多 CTI 或 SOC 應用未必要每次都從零訓練一個專屬模型；也許更實際的方向，是建立在這種「夠通才、但仍有資安底座」的模型之上，再往特定任務微調或加 workflow。

第三，它把 agentic augmentation 的重點放在資料生成，而不是只放在推理流程

現在大家談 agentic AI，常常都在談 inference time 的 multi-agent workflow。但 RedSage 提醒了一件很關鍵的事：agentic 方法不只可以用來做執行期協作，也可以用來製造更像真實工作流程的訓練資料。

這個觀點很重要。因為如果訓練資料本身就比傳統 instruction data 更貼近真實 analyst workflow，那模型在後續 CTI、SOC、IR 任務上的可用性，通常會比單純多背一些定義更高。

這篇論文的限制與我自己的看法

當然，RedSage 不是沒有疑問。至少有幾點需要冷靜看。

1. 它測到的是「資安 generalist assistant 潛力」，不是直接等於可上線代理人

RedSage 很強，但它仍主要是在 benchmark 與問答框架中被驗證。這意味著它證明的是「作為資安助理底座」的可行性，而不是已經直接等於一個能安全接管 SOC 工作流的 autonomous agent。

2. benchmark 與資料都帶有作者自己的設計偏好

雖然作者有做 verification、human checks 與 decontamination，這比很多工作已經紮實不少，但 RedSage-Bench 畢竟仍是作者自行建構的 benchmark。它非常有價值，但也仍需要更多外部團隊在不同環境中交叉驗證，才知道這套能力刻畫是否穩定。

3. 「懂工具」不等於「在真實環境裡安全使用工具」

這是我覺得最需要保留的一點。模型能回答 CLI 題目，或能在 benchmark 上表現較佳，並不等於它在真實 shell、真實網段、真實權限邊界裡也一樣可靠。資安工具能力牽涉到環境狀態、風險控管與執行後果，這是 benchmark 很難完全覆蓋的。

4. 它的成功某種程度上也再次證明：資料工程仍然是王道

RedSage 讓我最有感的一點，是它再次說明了一件很多人不想承認、但幾乎每次都成立的事：在垂直領域裡，真正拉開差距的往往不是一句更神奇的 prompt，而是資料蒐集、篩選、重組、增強、去污染、再評估的整條工程能力。

換句話說，這篇論文雖然表面上在講模型，但骨子裡其實是在講一個很硬派的命題：你願不願意認真做資料與評估，而不是只做一個看起來很會聊天的資安聊天機器人。

總結

RedSage 是一篇很適合放在 2026 年資安 AI 脈絡中閱讀的論文。它的重要性不只在於「又有一個資安模型拿到更高分」，而在於它把資安通才模型這件事，第一次用比較完整、可重現、而且接近實務需求的方式做出來。

它提出的不是單一技巧，而是一套整體觀：

• 領域持續預訓練，補足真正的安全知識底座
• agentic data augmentation，補足真實工作流式的互動資料
• 同時測 knowledge / skills / tools / answer quality 的 benchmark，補足評估盲點

如果前幾篇 CTI / SOC 論文回答的是「模型在某個資安任務上能做到哪裡」，那 RedSage 回答的其實是更底層的一問：我們能不能打造一個真正適合資安工作世界的開源底座模型？

至少就這篇論文來看，答案已經不是模糊的「也許」，而是更接近：可以，而且關鍵不只在模型本身，更在你怎麼建資料、怎麼建工作流、怎麼建評估。

Takeaway

RedSage 最值得記住的一點，是它把「資安 assistant」從零碎的 benchmark 任務、片段的 SFT 資料與零星的模型比較中拉了出來，重新定義成一個完整系統工程問題：要有領域語料，要有工作流式訓練資料，要有真正測得到工具能力的 benchmark，最後才有資格談一個資安通才模型是否成立。

對 CTI 與 SOC 團隊來說，這篇論文的啟示不是「從今天起所有事都交給模型」，而是：如果你真的想要一個可信的本地資安助理，未來最值得投資的不是華麗的 demo，而是更紮實的 domain data pipeline、agentic augmentation 與能力評估設計。

免責聲明

本文由 AI 產生、整理與撰寫，內容主要依據公開論文、技術文件與可取得之研究資料進行彙整、解讀與摘要。儘管已盡力確保內容之完整性與可讀性，仍可能因模型理解限制、資料來源差異或語意轉譯過程而存在疏漏、不精確或更新延遲之處。本文內容僅供研究交流與知識分享參考，實際技術細節、實驗設定與最終結論，仍應以原始論文、官方文件及作者公開資料為準。