False Alarms, Real Damage 論文閱讀分析：當 CTI 系統開始自動吃外部文字，最先被打穿的可能不是模型，而是你對情報輸入的信任
論文基本資訊
- 論文標題：Adversarial Attacks Using LLM-based Models on Text-based Cyber Threat Intelligence Systems
- 作者：Samaneh Shafee、Alysson Bessani、Pedro M. Ferreira
- 年份：2025
- 來源：arXiv:2507.06252
- 論文連結：https://arxiv.org/abs/2507.06252
- 主題：CTI、Adversarial Attacks、OSINT、Misinformation、LLM Evaluation、SOC
如果最近幾篇在談的是 agent、prompt injection、memory poisoning、tool control plane，這篇 Adversarial Attacks Using LLM-based Models on Text-based Cyber Threat Intelligence Systems 倒是把問題往更前面拉了一步：在你的 agent 還沒開始推理、還沒開始調工具之前，進到 CTI pipeline 的那批文字情報本身，會不會就已經被攻擊者故意做髒了？
我覺得這篇最值得看的地方，是它不把風險講成抽象的「LLM 可能會 hallucinate」，而是直接問一個比較殘酷、也更貼近實務的問題：如果攻擊者可以在 OSINT、論壇、社群平台或安全部落格這些來源裡投放看起來很像真的 threat intel 的假文字，CTI 自動化管線會不會把它當真，然後一路餵進 dashboard、告警驗證、優先級排序，最後讓 SOC 團隊把時間浪費在假的威脅上？
這篇論文在解什麼問題？
作者關注的是 text-based CTI pipeline 的整體脆弱性，而不是單點模型準確率。這個差異很重要。
很多 CTI 自動化研究會聚焦在：
- 能不能抽出 IoC
- 能不能辨識 TTP
- 能不能把 threat report 轉成結構化資料
- 能不能更快把外部文字過濾成 analyst 可用情報
但這篇 paper 換了一個角度：如果敵手知道你的 CTI 系統會吃哪些文字來源、怎麼做分類、怎麼決定哪些訊息值得往下游送，那麼它完全可以反過來設計假訊息，專門去污染這條情報管線。
也就是說，這篇研究真正要提醒的是：
CTI pipeline 的風險不只是抽不準，而是可能被對手刻意餵出「看起來很可信、其實很假的安全訊息」，把整條情報流程變成 misinformation amplifier。
作者怎麼看 CTI pipeline？不是單一分類器，而是五階段系統
這篇論文一個很實用的地方，是它先整理出一個整合版 text-based CTI extraction pipeline，把既有研究常見流程收斂成五個主要階段：
- Data collection：從社群平台、安全部落格、威脅資料庫、論壇等來源蒐集文字
- AI-based analysis：用分類、NER、clustering、relation extraction 等方法抽 CTI
- Monitoring and validation：把資訊送上 dashboard、進行人工驗證與格式化
- Threat scoring：判斷 severity 與 priority
- Actionability：讓情報進一步支撐預警、查詢、回饋與攻擊群關聯
這個拆法看起來很基本，但其實很重要，因為它把問題從「模型會不會被騙」升級成「哪一段被騙，後面整條流程會發生什麼事」。
很多團隊常常只盯著 classifier accuracy，卻忽略了：一旦前端資料收集與 early-stage filtering 被帶偏，後面所有 dashboard、威脅評分、SOC 驗證流程都會跟著吃污染。
這篇論文關心的三種攻擊：evasion、flooding、poisoning
作者沒有把 threat model 做得過度花俏，而是選了三種很務實、也很像真實攻擊者會用的方式：
- Evasion attack：造出會讓分類器誤判的假 CTI 文字
- Flooding attack：大量灌入誤導性內容，讓系統與 analyst 被噪音淹沒
- Poisoning attack：進一步污染資料與後續學習流程，讓系統長期退化
作者特別強調，evasion 是前面那道門。因為如果攻擊者連第一階段都騙不過，就沒機會往下做 flooding 和 poisoning；但只要第一關被穿過，後面幾乎都是連鎖反應。
這點我很認同。很多 CTI pipeline 的真正脆弱處，不在於下游分析多弱，而在於它們常常預設「進來的文字大致可信，只是需要歸類與整理」。一旦這個前提被打掉，整個系統就會從 intelligence processing 變成 misinformation processing。
作者怎麼定義 fake text？這裡其實很關鍵
這篇 paper 對 fake text 的定義很務實：不是只要機器生成就算假，而是凡是刻意模仿資安話語、卻不對應真實威脅情境的誤導性內容，都算 fake。
文中舉的例子很典型。真實文字像是：
Vulnerability Details: CVE-2024-52046 (CVSS 10/10) Apache MINA Remote Code Execution (RCE) Vulnerability.
而假文字則可能故意寫成：
Exploit released for CVE-2024-52046 allowing full control over Apache MINA servers. No patch available yet—act now to secure your systems!
它危險的地方不在於語法奇怪，反而正好相反：它用的是 analyst 很熟悉的資安語言、CVE 格式、緊急語氣與 exploit 敘事框架，所以特別容易混進 CTI 流裡。
這也是我覺得這篇 paper 比很多純 benchmark 論文更實在的原因：它不是在測模型能不能辨識非常明顯的垃圾訊息，而是在測當假訊息長得夠像真的 CTI 時，系統還守不守得住。
最重要的實驗訊號：高到離譜的 False Positive Rate
這篇最該記住的數字很直接：
- 專用 ML classifier 在 evasion attack 下的 False Positive Rate 高達 97%
- 把 ChatGPT-4o 當 classifier 時，False Positive Rate 也有 75%
這兩個數字的意義很重。它們表示：只要攻擊者願意刻意把字串、術語、CVE-like 格式、資安語氣與上下文包裝好，很多看起來很「聰明」的自動 CTI 過濾器，實際上非常容易把假情報送進來。
而且這不是單純的模型小失誤。97% 這個等級代表的不是「偶爾會被騙」，而是在設計好的 adversarial text 面前，防線幾乎形同虛設。
這篇論文真正刺中的，不是模型能力，而是 CTI workflow 假設
我覺得這篇 paper 最有價值的地方，是它把問題從「哪個模型比較準」往前推成「為什麼我們一直假設被收進 CTI pipeline 的文字，本質上是值得被分析的候選情報」。
很多 CTI 自動化 workflow 的隱含假設是：
- 來源雖然 noisy，但大致善意
- 真正的工作是從雜訊中抓出有價值訊號
- 模型只要把 security-related text 找出來，後面再交給 analyst 精修即可
但這篇論文提醒的是另一個世界觀：輸入源本身就可能是敵手在操作的戰場。
這意味著，CTI pipeline 前段真正該做的，不只是 relevance classification，而是更接近：
- 來源可信度驗證
- 內容真實性與可交叉驗證性檢查
- misinformation / synthetic text / narrative manipulation 偵測
- 「看起來像 threat intel」與「真的值得進情報管線」之間的分離
為什麼這跟最近的 agentic security 主線其實是接得上的？
表面上看，這篇不像最近那幾篇 agent prompt injection / MCP / runtime governance 論文那麼「agentic」。但我反而覺得它很補主線，因為它點出了一個更早的控制面：
在 agent 被不可信輸入帶偏之前，CTI 系統就可能已經先被假情報帶偏。
如果今天你的 SOC agent、threat hunting copilot、vulnerability prioritization assistant、甚至自動生成 detection rule 的系統，背後都倚賴外部 threat text 當知識來源，那這篇 paper 講的其實就是它們的上游風險。
換句話說，prompt injection 解的是 runtime control 問題；這篇 paper 更像是在講 intelligence ingestion control 問題。 兩者不是互斥，而是前後相接的。
這篇 paper 對實務最有價值的啟發
如果把論文濃縮成幾條實務提醒，我會抓這幾個：
- 第一，別把 security-looking text 當成 security-trustworthy text。 有術語、有 CVE、有緊急口吻，不代表它值得進 CTI 主流程。
- 第二，前置 verification component 很重要。 作者最後明講，CTI pipeline 前段需要額外的 verification layer，在 misinformation 擴散前先把它攔住。
- 第三，trusted sources 不是完整答案。 完全只靠 trusted list 會犧牲 coverage，但完全開放 OSINT ingestion 又會大幅擴大攻擊面。
- 第四，SOC 的人類驗證不該只在最後。 如果前面已經 flood 進大量假警訊，人的審查其實也會被疲勞與優先級錯置拖垮。
這篇論文的限制
當然，它也有一些限制。
- 它比較偏向 pipeline vulnerability study，不是提出一套成熟防禦系統。
- 核心亮點仍集中在 text classification / early-stage filtering，對更後段的 graph reasoning、cross-source corroboration、knowledge graph validation 沒有深入展開。
- 雖然點到 flooding / poisoning，但最扎實的結果還是落在 evasion，後兩者更像後續研究方向。
不過這些限制不太影響它的價值，因為它最重要的貢獻其實是把一個常被忽略的問題講清楚：CTI automation 不只是能力問題，還是對抗性資訊環境下的信任問題。
總結
Adversarial Attacks Using LLM-based Models on Text-based Cyber Threat Intelligence Systems 最值得記住的，不只是 97% 和 75% 這兩個難看的 FPR，而是它背後揭露的結構性事實：很多 CTI pipeline 真正脆弱的，不是後面的推理器，而是最前面那個「先把看起來像情報的東西收進來」的習慣。
如果你把這篇放進最近 sectools.tw 這條脈絡裡看，它其實是在提醒同一件事，只是位置更上游：
安全系統一旦開始自動吃外部文字，它面對的就不只是資訊不足問題，而是資訊對抗問題。
對 CTI 團隊來說，下一步真正該補的，可能不是再多一個更會抽 IoC 的模型，而是先把source trust、content verification、cross-source corroboration 與 misinformation filtering 做成 CTI pipeline 的一級公民。