PIArena 論文閱讀分析：很多 Prompt Injection 防線真正的問題，可能不是不夠努力，而是從來沒在同一個場上被好好比較過

論文基本資訊

• 論文標題：PIArena: A Platform for Prompt Injection Evaluation
• 作者：Runpeng Geng、Chenlong Yin、Yanting Wang、Ying Chen、Jinyuan Jia
• 年份：2026
• 來源：arXiv:2604.08499
• 論文連結：https://arxiv.org/abs/2604.08499
• 程式碼：https://github.com/sleeepeer/PIArena
• 主題：Prompt Injection、Agent Security、RAG Security、Benchmark、Adaptive Attack、Defense Evaluation

如果前一波資安 AI 論文大多在談 agent attack surface、tool poisoning、runtime guardrails、zero-trust boundary，那 PIArena 這篇真正補上的，其實是另一個更尷尬、也更根本的缺口：我們到現在還沒有一個足夠像樣、足夠統一、也足夠不偏心的 prompt injection 評測場，能讓不同防禦方法在同一套規則下被真正比較。

這件事聽起來像 infrastructure work，沒有新攻擊那麼聳動，也沒有新防線那麼好賣；但它碰到的問題很現實：很多 prompt injection defense 之所以看起來有效，不一定是因為它真的穩，而是因為它剛好在自己熟的 benchmark、自己熟的 attack template、自己熟的任務上測。 一換資料集、一換 injected task、一換防禦回饋型攻擊，漂亮分數就可能直接垮掉。

PIArena 的價值正在這裡。它不是再多做一個「看誰防得比較好」的排行榜，而是想把 prompt injection 這件事從零碎 demo 拉回系統化評測：不同任務、不同 injection 目標、不同攻擊類型、不同 defense 類別、甚至不同 backend LLM，都該放進同一個 evaluation substrate 裡重新看一次。

本文由 AI 產生、整理與撰寫。

這篇論文真正想解決什麼問題？

作者對現況的批判很直接：今天 prompt injection 研究越來越多，但評測方式仍然高度碎片化。結果就是：

• attack 與 defense 缺少統一介面：每篇論文都帶自己的 setup，很難公平比較。
• 很多 benchmark 只測 static attacks：攻擊模板寫死，無法反映現實對手會根據防線回饋調整策略。
• 不同任務之間幾乎不能橫向對照：QA、summarization、RAG、long-context、agent scenario 往往各自為政。
• 防禦泛化能力被嚴重高估：在 A 資料集有效，不代表到 B 場景還活著。

所以這篇論文真正問的不是「哪個 prompt injection defense 最強」，而是：

如果我們把 prompt injection 當成一個跨任務、跨場景、跨模型的系統性安全問題，那現有防線到底還剩多少是真正能轉移、能泛化、能抗自適應攻擊的？

PIArena 在做什麼？

PIArena 是一個統一的 prompt injection evaluation platform。它把整個評測拆成四個模組：

• Benchmark module：放任務資料與 injected task 設計。
• Attack module：整合現有 prompt injection attacks，並支援新 attack 接入。
• Defense module：整合 detection-based 與 prevention-based defenses。
• Evaluator module：統一計算 utility 與 ASR（attack success rate）。

這個設計看似樸素，但它解決的是研究社群很常見的錯覺來源：只要攻防方法不是跑在同一套資料格式、同一種攻擊介面、同一種評估定義上，很多橫向比較其實根本不成立。

PIArena 想做的，不是替所有人宣告標準答案，而是先把「大家終於能在同一個場上對打」這件事補起來。這對 security benchmark 來說，比再多一個 isolated leaderboard 更重要。

它測哪些任務？不是只有單一 QA

PIArena 刻意不把 prompt injection 縮成單一型態，而是把 target tasks 拉到幾個常見應用族群：

• 一般問答：例如 SQuAD v2、Dolly 的 closed QA
• 資訊抽取與摘要：測模型在 instruction-following 任務中是否被帶偏
• RAG 場景：Natural Questions、HotpotQA、MS MARCO 等
• Long-context 任務：HotpotQA long、Qasper、GovReport、MultiNews、Passage Retrieval、LCC
• 其他 benchmark / agent benchmark 的整合能力：作者也特別示範把既有 benchmark 接進來做 defense evaluation

這裡最值得注意的地方，是作者沒有把 prompt injection 簡化成「看模型會不會輸出 Hacked!」這種玩具題，而是把它放回更像真實工作的脈絡：摘要、抽取、問答、檢索、長文件理解，本來就是今天 LLM 在企業與 agent 系統裡最常碰的任務型態。

Injected task 不是亂寫一句「Ignore previous instructions」而已

PIArena 另一個做得比較對的地方，是它沒有停在老派 injection template，而是刻意設計比較貼近現實攻擊目的的 injected task 類型。論文裡整理了四類：

• Phishing Injection：把使用者導去惡意外部網站或釣魚連結
• Content Promotion：偷偷插入廣告、推薦、特定產品或服務宣傳
• Access Denial：假裝配額用完、訂閱過期、帳單未付，阻止使用者完成原任務
• Infrastructure Failure：偽裝成 out-of-memory、資料庫 timeout、HTTP error 等後端故障訊息

這個設計很有意思，因為它把 prompt injection 從「模型被騙去講一句怪話」提升成更接近產品與營運風險的層次：真正危險的 injection，不一定是顯眼的惡意命令，而可能只是讓系統在使用者眼中看起來像真的壞了、真的該點那個連結、真的該信那段說明。

換句話說，這篇論文其實是在提醒：prompt injection 的本質不是 instruction hijacking 而已，它很多時候更像是把整個應用層輸出重寫成攻擊者想要的產品行為。

這篇論文最值得看的：它不只測 static attack，還做 adaptive attack

PIArena 最關鍵的地方，是作者明確指出既有 benchmark 幾乎都偏向 static attacks。這很危險，因為真實世界裡攻擊者不會拿固定模板來陪你考古；他會看你的防禦怎麼擋，再改下一輪。

因此作者額外設計了 strategy-based adaptive attack，讓 injected prompt 可以根據 defense feedback 持續優化。這件事的重要性在於，它把 prompt injection 測試從「靜態字串比賽」往更接近 security reality 的方向推了一步：不是問某個防線能不能擋住一條既定 payload，而是問它在對手開始根據回饋修 prompt 後，還能不能維持住。

這條線和近期 agent security 論文裡談的 long-horizon manipulation、memory poisoning、tool-chain evasion，其實是同一個世界觀：安全不是一次性通關，而是對手會不會持續調整策略，而你的防線有沒有跨回合韌性。

主結果很難看，而且正因為難看才有價值

作者在 Table 2 的大規模比較裡，把 No Defense 和多種現有 defenses 擺在一起。結果相當直白：很多看起來有效的防禦，一旦跨任務或碰上 strategy-based adaptive attack，效果會明顯下滑，甚至幾乎直接失守。

例如在 SQuAD v2 上，如果完全不設防：

• Direct attack 的 ASR 是 0.86
• Strategy-based attack 的 ASR 直接到 1.00

加了某些防線後，雖然可以把某些 direct attack 的 ASR 壓低，但只要換成 adaptive strategy，很多方法又會被打穿。像是一些 prevention / detection 方法在不同資料集上的表現落差非常大：在某些 QA 或 RAG 任務上勉強有效，到了 long-context 或 summarization 類場景就開始大幅失真。

更難看的是，這不是單一 benchmark 的巧合。從 Dolly、NQ、MS MARCO、HotpotQA 到 GovReport、MultiNews 這些長文任務，論文一再重複看到同一個訊號：

現有 prompt injection defenses 最大的問題之一，不是在單一場景完全沒用，而是它們太常只對自己熟的那種任務有效。

這對實務世界很重要。因為企業系統不會只做一種事。今天你可以在 QA 上防得不錯，明天同一套 LLM 可能被拿去摘要 ticket、整理 email、讀文件、做檢索回覆；如果你的 defense 只在某一型任務上有用，那它比較像 demo defense，不太像 production defense。

連 closed-source 大模型也沒有安全到哪去

PIArena 另一個很有殺傷力的結果，是它把不同 backend LLM 直接拉進來做同場比較。作者在 SQuAD v2 的 direct attack 設定下看到：

• GPT-5：ASR 0.70
• Claude-Sonnet-4.5：ASR 0.31
• Gemini-3-Pro：ASR 0.83
• GPT-4o：ASR 0.92
• GPT-4o-mini：ASR 0.76

這裡當然不能粗暴解讀成「某模型絕對安全、某模型絕對不安全」；但它至少說明一件事：closed-source、對齊過、甚至聲稱有多層防護的模型，並沒有因此天然免疫 prompt injection。

我覺得這個結果真正有意思的地方，不是排行榜，而是它再次拆穿一個常見幻覺：模型供應商有做 safety training，不代表放進真實應用上下文後就還守得住。 Chat-level safety 與 application-level robustness，真的不是同一回事。

最棘手的一點：當 injected task 和 target task 對齊時，防禦可能會退化成「分不出來」

論文裡有個很重要、也很容易被低估的觀察：當 injected task 和 target task 在表面上高度對齊時，prompt injection 會變得很像 disinformation problem。

意思是，攻擊者不一定要明目張膽地叫模型「忽略前文」。他完全可以把惡意意圖包裝成看起來仍然符合當前任務的輸出。例如摘要任務裡偷偷夾帶廣告推薦、客服回覆裡加進錯誤的系統故障說明、RAG 回覆裡插入貌似合理但其實導向惡意站點的指引。

這時候，很多 defense 會開始很尷尬。因為它們最擅長擋的是看起來像 injection 的東西；但如果 injected task 已經語義上貼合 target task，防線就容易陷入兩難：

• 擋太兇，utility 受損、誤殺大量正常輸出
• 擋太鬆，惡意內容滑進去還看起來很合理

這其實把 prompt injection 的難題講得很準：最難防的不是明顯違規指令，而是攻擊者把惡意意圖包裝成看似正常的任務完成方式。

這篇論文對 RAG / Agent security 的意義

PIArena 雖然表面上是 prompt injection benchmark 平台，但我覺得它真正打中的，其實是整條 RAG / agent security 討論裡的一個結構性問題：我們太常在沒有統一評測地基的情況下，就先談哪個 defense 比較強。

如果把這篇放回最近 sectools.tw 已經連續發過的那些題材裡看，它剛好處在很中間的位置：

• 它接得上 tool poisoning、skill supply chain、memory poisoning 這些 runtime 風險
• 也接得上 RAG security、context integrity、retrieval-time manipulation 的資料層問題
• 同時還和 benchmark reliability、defense coverage audit 這條線連得很緊

換句話說，PIArena 的貢獻不是只服務 prompt injection 研究者，而是對整個 agent security 社群都很重要：如果沒有一個統一、可延展、能放入 adaptive attacks 的 evaluation layer，後面很多 security claim 都很可能只是「在特定條件下暫時看起來還行」。

我的看法

我認為 PIArena 最有價值的地方，不是它又多塞了幾個 benchmark，而是它把 prompt injection 這件事從「紅隊 demo 很會玩」重新拉回 security engineering 的語境：攻擊、任務、場景、模型、Defense 之間的交互作用，本來就該被系統性測，而不是各篇論文自己挑最順手的對照組。

更直接一點說，這篇論文其實在打臉一種很常見的安全敘事：很多 defense 不是完全沒用，而是一旦脫離自己的舒適圈，就沒那麼有用。而真正麻煩的，偏偏就是現實世界從來不會只待在你的舒適圈裡。

如果之後這條線要繼續往前推，我會特別期待三件事：

• 把 PIArena 這種統一介面延伸到更多 agent benchmarks，不只限於一般 LLM 任務
• 把 adaptive attack 再往長程互動與跨步驟工作流推進，更接近真實 agent exploitation
• 把評測從 ASR / utility 再延伸到實際 harm model，例如資料外洩、權限誤用、品牌損害、使用者誤導等後果層

總之，PIArena 雖然看起來是一篇 benchmark platform paper，但它真正留下來的訊號很重：現在很多 prompt injection defense 最大的問題，不是還不夠強，而是我們甚至還沒有在足夠公平、足夠完整、足夠接近現實的場上看清楚它到底強在哪、又弱在哪。

而在 agent 時代，這種「你以為你測過了，其實只是測過一個版本的世界」的誤判，本身就是風險。