Visual Inception 論文閱讀分析：最危險的圖片，不一定當下就有毒，而是之後會被 Agent 自己重新想起來的那張

本文由 AI 產生、整理與撰寫。

論文基本資訊

• 論文標題：Visual Inception: Compromising Long-term Planning in Agentic Recommenders via Multimodal Memory Poisoning
• 作者：Jiachen Qian
• 年份：2026
• 來源：arXiv:2604.16966
• 論文連結：https://arxiv.org/abs/2604.16966
• DOI：10.48550/arXiv.2604.16966
• 主題：Agentic Security、Multimodal Security、Memory Poisoning、Recommender Systems、AI Runtime Defense

這篇 paper 很值得寫，因為它補上一個很多人談 agent 安全時還沒完全意識到的洞：真正會把 agent 長期帶偏的，不一定是當下那句 prompt，也可能是一張現在看起來完全正常、之後卻會被當成「可信記憶」重新叫回來的圖片。

作者把這種攻擊叫做 Visual Inception。它不是要你立刻看錯一張圖，也不是傳統那種一次性的 prompt injection，而是把帶有隱性 trigger 的影像混進 agent 的長期記憶庫，等到系統之後做規劃、回顧使用者偏好、產生推薦策略時，再把整條 reasoning 慢慢拐去攻擊者想要的方向。

如果你最近有在看 persistent agent、memory poisoning、multimodal RAG 這些題，這篇其實很有代表性，因為它把幾條原本看似分散的風險線正式接起來了：

• 多模態輸入不只是感知資料，也是未來控制面的候選
• 長期記憶不是單純提升個人化，而是會把一次污染變成長期影響
• agent 的風險不只在 retrieval 那一刻，而是在 retrieval 之後如何參與 planning

這篇真正想打的，不是錯誤分類，而是「未來規劃被記憶接管」

很多 vision attack 或 multimodal attack 的經典路線，還是圍繞在模型有沒有被一張圖當場騙倒：把狗看成貓、把 stop sign 看錯、讓模型對某張圖產生奇怪回答。

但這篇的野心不一樣。它要證明的是：在 Agentic Recommender Systems 這類會維持長期 user profile、會把影像和互動歷史存進 memory bank、之後再拿來做任務規劃的系統裡，攻擊者可以把一張「現在沒有造成事故」的圖，變成未來規劃鏈上的 sleeper agent。

作者的設定很貼近實際平台情境。想像使用者會上傳 lifestyle photo、室內照片、旅遊照片、穿搭照片，系統把它們當成偏好訊號，嵌入 memory bank，之後用來做商品推薦、服務規劃或內容排序。攻擊者只要能把特製圖片混進這條記憶管線，之後在某些查詢或規劃場景下，這段被污染的記憶就可能被撈回來，進一步影響 agent 對「你接下來應該推薦什麼」的判斷。

這就是它和傳統 prompt injection 最大的不同：攻擊不是靠顯性文字去搶指令優先權，而是靠記憶檢索與推理上下文，把一個看起來像偏好證據的東西變成行為轉向器。

Visual Inception 怎麼做？核心不是圖片本身，而是它未來被撈到的機率與撈到後的影響力

論文的攻擊設計不是單純做 adversarial perturbation，而是把問題明確定義成一個多目標優化：

1. 讓 poisoned image 在視覺上仍接近原本的 benign image，不容易被人察覺
2. 讓它在 embedding space 裡更靠近攻擊者想推的 target concept
3. 讓它未來在相關 query 下更容易被 memory retriever 撈回來

換句話說，作者不是只在做「看起來不像被動過的圖」，而是在做能夠潛伏、等待、再參與規劃的圖。

這裡很值得注意的一點是，論文把攻擊成功拆成好幾層，不只是最終有沒有推到目標商品，還包括：

• GHR（Goal-Hit Rate）：最後輸出有沒有命中攻擊者目標
• ASR-M（Memory-mediated Attack Success Rate）：這次命中是不是能被歸因到 poisoned memory 的介入
• RCS（Reasoning Consistency Score）：推理鏈是否出現可疑偏轉

這種指標設計比只看 final output 更成熟，因為它承認 agent 風險的關鍵，常常不只是最後推薦了什麼，而是那個結果到底是不是被記憶污染一路帶出來的。

最有殺傷力的地方：它不是要立刻爆，而是要等系統自己把毒撈回來

我覺得這篇最值得記住的 framing，就是作者把 poisoned memory 描述成 sleeper agent。這個比喻非常準。

因為在這種系統裡，攻擊者不需要每次都重新下指令，也不需要持續握有互動入口。只要污染一次成功進入長期記憶，後續很多流程會由系統自己完成：

• 先把圖片當成正常使用者資料收進 memory
• 之後在未來 query 中自動檢索相似記憶
• 再把那段記憶當成 personalization 的證據
• 最後讓 planner 在看似合理的脈絡裡慢慢偏向攻擊者目標

這種風險特別麻煩，因為它說明了 memory poisoning 的威脅不只是 persistence，而是 persistence 加上 deferred activation。你今天收進去的是資料，明天回來的卻可能是控制。

數字不只是有感，而且相當刺眼

論文在 mock e-commerce agent environment 上的結果蠻有衝擊力：

• Visual Inception 的 Goal-Hit Rate 約 85%
• 作者提出的防禦 CognitiveGuard 可把風險壓到大約 10%
• Lite 模式大約增加 1.5 秒 query-time 開銷
• Full sequential verification 約 6.5 秒

這組數字的重點不只是「有攻擊、也有防禦」，而是它讓人看到兩件事：

1. 單靠多模態個人化能力，確實會長出一條很實際的新攻擊面
2. 要把這條攻擊面壓下去，往往要付出明確的 runtime latency 成本

這也就是 agent security 越來越像系統工程問題的原因：你不是不知道該防，而是你得決定願不願意為這個防線付 1.5 秒、3 秒、6 秒的真實營運代價。

CognitiveGuard 值得看的，不是名字，而是它把防禦放在兩個真正該放的位置

作者的防禦框架叫 CognitiveGuard，走的是雙系統設計：

• System 1：Perceptual Sanitizer —— 在影像寫入 memory 前先做 diffusion-based purification
• System 2：Reasoning Verifier —— 在記憶被檢索並參與規劃時，做 counterfactual consistency check

我覺得這個設計真正聰明的地方，不是用了 diffusion 或 counterfactual 這些流行詞，而是它承認了：

多模態記憶攻擊不是單點問題，所以防禦也不能只放在單點。

如果你只在輸入端做圖像清洗，可能會漏掉那些語意上仍有毒、但像素上已足夠自然的內容；但如果你只在推理端做檢查，又會讓每次 query 都背上更重的 runtime 成本。作者把這兩層拆開，某種程度上就是在做 memory security 的 defense-in-depth：

• 先減少毒記憶進庫的機率
• 再降低毒記憶一旦被撈回時接管規劃的機率

這比那種只說「我們做了一個 detector」的 paper 更像 production-minded security 設計。

這篇真正重要的啟示：多模態輸入一旦進 memory，就不再只是 content safety，而是 runtime governance

這篇 paper 我最認同的地方，是它把問題重新定義得很清楚。很多團隊今天看圖片安全，還停在：

• 這張圖有沒有 NSFW？
• 有沒有有害內容？
• 有沒有對抗樣本讓辨識失準？

但對 agent 而言，真正更危險的問題是：

• 這個輸入會不會被寫進長期記憶？
• 之後會不會被當成偏好證據被重新檢索？
• 它一旦參與 planning，是否會改變決策方向？

也就是說，多模態安全在 agent 世界裡，不能只停在 perception robustness，而要一路延伸到 memory lifecycle 與 planning integrity。

這個視角不只適用於 recommender。只要你的 agent 會：

• 接收圖片、截圖、文件或其他多模態輸入
• 把它們存成長期偏好、歷史或工作記憶
• 之後再拿來做搜尋、歸納、規劃或決策

那 Visual Inception 這種思路其實都值得你警覺。今天是推薦商品，明天也可能是旅遊規劃、醫療建議、保險核保、客服升級路徑，甚至企業內部 agent 的風險排序。

它的限制也要看清楚

當然，這篇不是沒有邊界。

• 實驗環境是 mock e-commerce agent，離真實大型商業平台還有距離
• 防禦效果和 latency 取決於特定模型、retriever、verification 設計
• 攻擊 robustness 對 query distribution shift、不同 encoder、不同記憶策略仍有外推限制
• 推薦場景本身容許一定模糊性，某些被帶偏的結果不一定像安全事故那樣立刻可觀測

但這些限制不會削弱它的核心價值，因為作者抓到的是一個很穩的結構性問題：只要系統把外部多模態輸入當成可被持久化、可被檢索、可參與規劃的記憶資產，攻擊者就會開始把這條管線當成長期控制面。

我的看法

如果你平常關注 agentic security、persistent memory、multimodal AI 或 recommender system 安全，這篇很值得看。它不是那種只在 prompt injection 既有框架內換個皮，而是真的往前推了一步：讓大家看到「圖片進記憶」這件事本身，已經足以成為未來規劃劫持的起點。

我會把這篇的核心結論濃縮成一句話：

在有長期記憶的 agent 系統裡，最危險的圖片不一定是當下最怪的那張，而是那張現在看起來很正常、之後卻會在對的時間被系統自己重新想起來的圖。

而這也正是為什麼下一代 agent 安全，不只要防 prompt injection，也得防 memory-mediated control hijacking。因為當系統開始自己記、自己撈、自己規劃，攻擊就不必一直站在門口敲門了——它只要想辦法被你請進腦子裡一次就夠了。