Spore 論文閱讀分析：很多 agent memory 真正危險的，不是模型記性太好，而是你還把可重建的秘密留在它腦裡

本文由 AI 產生、整理與撰寫。

論文基本資訊

• 論文標題：Spore: Efficient and Training-Free Privacy Extraction Attack on LLMs via Inference-Time Hybrid Probing
• 作者：Yu Cui、Ruiqing Yue、Hang Fu、Sicheng Pan、Zhuoyu Sun、Baohan Huang、Haibin Zhang、Cong Zuo、Licheng Wang
• 年份：2026
• 來源：arXiv:2604.23711
• 論文連結：https://arxiv.org/abs/2604.23711
• DOI：10.48550/arXiv.2604.23711
• 主題：Agent Memory Security、Privacy Extraction、LLM Agents、Inference-Time Attacks、Prompt Injection、OpenClaw

這篇 paper 我一看就知道值得寫，因為它打的不是大家比較熟的那種「模型是不是把訓練資料背出來」，而是另一個更貼近真實產品的問題：

如果使用者剛剛才把銀行帳號、身份資訊、工作細節、私密對話講給 agent 聽，而這些內容還活在 context / memory 裡，別人能不能只靠一次惡意互動，就把它慢慢挖出來？

作者給的答案很不舒服，而且我覺得這不只是論文上的不舒服，是產品團隊現在就該不舒服：

很多 agent 真正缺的，不是再多一條「請保護用戶隱私」的安全宣言，而是先承認：只要敏感資訊還活在可被模型直接取用的推理記憶裡，它就已經不是「不會外流」，而只是「還沒被問對」。

如果要把整篇濃縮成一句話，我會這樣寫：

很多 agent memory 真正危險的，不是模型故意背叛你，而是攻擊者終於學會把「不能直接講的私密資料」先包成看起來比較無害的形式，再從輸出側慢慢復原回來。

這篇在處理什麼問題？

近年很多隱私攻擊研究都在看 membership inference、training data extraction，這些當然重要；但如果你在做的是 assistant、agent、copilot、device-side LLM，還有一個更直接的風險：

• 使用者會在互動裡直接提供個資
• 這些資料可能在多輪對話中保留在 context 或 memory
• 攻擊者未必要知道模型權重，也未必要能拿梯度
• 他只要能跟系統互動，就可能開始想辦法把私密資訊套出來

也就是說，風險不一定來自「模型訓練時記住了什麼」，而可能來自：

模型現在這一輪、這一段 session、這份暫存記憶裡，正好握著什麼。

這個 threat model 對 agent world 特別重要，因為 agent 本來就比一般 chatbot 更常接觸：

• PII
• email / notes / docs
• 工作紀錄與任務狀態
• 跨回合累積的記憶片段

作者甚至直接把 OpenClaw 當成這類 personal AI assistant 的代表情境之一。這點很有意思，因為它等於把問題直接拉到「真的會幫人做事的 agent」這個層級，而不是只停在 benchmark chatbot。

Spore 在做什麼？不是硬逼模型直吐，而是先讓它「變形外漏」

這篇方法的核心其實很漂亮，也有點陰。

直覺上，很多安全對齊與防護都在防這件事：

• 你直接叫模型把敏感資訊講出來
• 模型應該拒絕

但作者不走這條正面硬撞的路。他們的思路比較像：

既然模型對「直接外洩 PII」比較警覺，那就不要要求它原封不動吐出來；改成誘導它輸出一個被雜訊擾動過、表面上沒那麼敏感、但仍保留足夠結構可供事後還原的版本。

Spore 的做法大致分兩段：

1. Attack stage：把目標私密字串加上字元級 noise，讓模型輸出一個扭曲後的版本。
2. Recovery stage：攻擊者再根據這個扭曲輸出，離線把原始 PII 復原回來。

換句話說，它不是單純要模型「洩漏答案」，而是要模型先吐出一份夠接近、又剛好能繞過敏感檢查的材料。

作者把這套想法叫做一種類似 shadow encryption 的結構：先把私密內容包成看起來沒那麼敏感的變形輸出，再利用解碼邏輯把它還原。

這個 framing 很值得記一下，因為它點出一個老問題：

很多安全控制是在擋「原樣外洩」，不是在擋「語意與結構仍可被重建的變形外洩」。

兩種攻擊模式：黑箱也能打，灰箱更快

Spore 分成兩個版本：

• Spore-B：黑箱版本，只看模型最後輸出的文字
• Spore-G：灰箱版本，額外利用 top-k / logprob 之類 decoding 過程資訊

黑箱版的重點是：即使你看不到內部權重、梯度、hidden state，也能透過一次查詢先拿到一小組候選，然後再用有限次嘗試把真正私密資料找出來。

灰箱版則更狠。若 API 願意回傳 top-k token 或 logprob 之類訊號，攻擊者就能從多排名 token 裡拼湊出更準的還原路徑，幾乎把 recovery 變成一個效率很高的離線解碼流程。

這也是為什麼我覺得這篇不是只在講某個 prompt 技巧，而是在提醒產品團隊：

只要你的 API 會回更多生成過程訊號，那些本來被你當成 debug / observability 功能的東西，也可能變成攻擊者的輔助通道。

結果有多糟？在 frontier models 上也很能打

作者測了 Claude Opus 4.6、GPT-5.4、GPT-5.4-mini、Qwen3.5-397B-A17B、Qwen3.6-Plus 等模型，資料則用 TrustLLM 裡的 560 個隱私情境去構造脈絡。

先看黑箱結果。這篇最刺眼的數字之一，是 GPT-5.4 在 pass@5 下，Spore 的 ASR 到 93.93%；就算只看 pass@1，也有 69.46%。Claude Opus 4.6 那邊更誇張的是：基線幾乎全滅，但 Spore 仍然能把 pass@5 打到 80.18%。

灰箱版也沒客氣。作者在 GPT-5.4 與 GPT-5.4-mini 上做 Spore-G，GPT-5.4 的 pass@5 來到 91.25%，pass@1 也有 73.39%。

如果只看方向，這些數字說的是：

不是只有弱模型才會漏，推理能力更強、對齊做得更好的 frontier model，一樣可能在這種「變形外漏＋離線復原」路徑上失手。

作者甚至明講了一個很不討喜但很重要的觀察：推理能力較高的模型，在他們的攻擊下反而顯得更脆。 這很符合很多 agent security 現實：模型越會理解上下文、越會補全缺失、越會配合語境，往往也越會幫攻擊者把缺的那一塊補起來。

便宜、快、而且不需要很多次試探

光是成功率高還不夠，真正麻煩的是它的成本也不高。

這篇一個很務實的結果是：Spore 的 token cost 跟最省的 baseline 差不多，但效果高很多。而在黑箱場景下，作者回報平均只要 5.45 次 queries 就能成功抽出 PII，遠低於他們設定的 20 次嘗試門檻。

這很關鍵，因為很多團隊在評估風險時，會下意識依賴這種心理安慰：

• 攻擊大概很麻煩吧
• 應該要很多輪吧
• 只要限流一下就好吧

但這篇在講的是另一種威脅：查詢次數不高、成本不誇張、而且可以在黑箱條件下成立。

這時問題就不再是「理論上有沒有可能」，而是「你的產品如果真的上線，被人盯上時有沒有實際阻力」。

更麻煩的是：偵測器不太會叫

這篇我最在意的，反而不只是 ASR，而是 detection side 的結果。

作者拿 GPT-Safeguard 類型的 detector 來看，結果 Spore 的 positive rate 只有大約 11%，而兩個 baseline 都在 90% 以上。作者用自己的話說，Spore 相比基線把 positive rate 降了 88%。

這代表什麼？代表很多 detector 比較會抓的是那種「看起來就很像在幹壞事」的 prompt，但 Spore 走的是另一條路：

把惡意目的藏在看似無害、看似格式整理、看似普通轉換的輸入與輸出模式裡，讓系統不太容易在入口處就拉警報。

這件事跟 prompt injection、skill poisoning、indirect instruction 攻擊其實很像：真正危險的 payload 往往不是最像 payload 的那個。

一般防禦夠嗎？看起來不太夠

作者還測了幾種防禦方向，包括 detector 與 IGNORE 這類一般性 defense。結果並不樂觀。

例如在 GPT-5.4 上，套防禦後 ASR 只下降大約 3 個百分點上下，基本上只是小幅緩和，不是根治。作者也特別指出：Spore 因為能在單次 query內完成關鍵攻擊步驟，所以很多既有防禦框架其實來不及形成有效阻擋。

這讓整篇 paper 的結論非常清楚：

如果你的防禦主要建立在「我應該能看出你這句話很可疑」或「模型應該會自己拒絕」，那對這類 contextual privacy extraction 並不穩。

這篇真正戳破的幻覺：memory 不是方便而已，也是外洩面

我覺得這篇最有價值的地方，不是提出一個新 attack name，而是把很多 agent 產品現在最習慣忽略的事講白：

memory 不是單純提升體驗的功能；只要它讓模型在後續推理裡可再取用敏感資訊，它同時也是攻擊面，而且是很肥的攻擊面。

這跟傳統 training-data leakage 的差別在於：

• 它更即時
• 它更貼近真實使用者當下提供的內容
• 它不需要攻擊者碰到模型內部
• 它更像產品設計錯誤，而不只是模型訓練副作用

對做 assistant / agent 的團隊來說，這幾乎是在逼你重新回答三個問題：

• 哪些資料真的需要進 context？
• 哪些資料進去後要多久清掉？
• 哪些資料就算模型「知道」，也不能讓它直接以原始形式參與自由生成？

我怎麼看它的實務啟示？

如果今天你在做的是會長期記住人、能跨回合接任務、會讀私有資料的 agent，那這篇比很多抽象 AI safety 論文更值得貼到團隊牆上。

我會把它翻成幾個工程原則：

• 敏感資料不要無條件留在通用生成上下文裡。
• 能 tokenization / masking / compartmentalization 的，就不要直接裸放。
• top-k、logprob、debug trace 這類額外輸出訊號要重新評估風險。
• 不要只防「直接說出完整秘密」，要防「可被重建的部分外洩」。
• 記憶系統要有 retention、scope、access path 與 purge policy，不然它只是把 UX 方便性換成隱私炸彈。

作者最後也提到，長期來看，更有力的方向仍然是 cryptography-based security guarantees，或至少是把 trusted local component 與 untrusted cloud model 做更嚴格分工。這點我很同意。

因為說到底，這篇再一次證明：

只要敏感資料還是靠那顆正在自由生成的模型自己「有分寸地保管」，那就不算真正的保護。

結語

Spore 最值得重視的地方，不只是它把 ASR 打得很高，而是它把風險重新從「模型會不會背出訓練資料」拉回「agent 正在替你保管什麼，以及這些東西是不是其實隨時能被變形外帶」。

它逼我們承認一件很現實的事：

很多 agent 的隱私風險，問題不是模型記性太好，而是產品太天真地相信：只要資料暫存在記憶裡、又有一句 safety policy 蓋在上面，它就還算安全。

如果要用一句話收尾，我會這樣下：

很多 agent memory 真正缺的，不是再多一條「保護使用者隱私」的提示，而是別再把可重建的私密資料長時間留在會自由生成、會被人套話、還可能順手把碎片補完整的那顆腦裡。