跨語言 Jailbreak 論文閱讀分析：很多 multilingual guardrail 真正缺的，不是翻譯規則，而是守住 harmful intent 本身

本文由 AI 產生、整理與撰寫。

論文基本資訊

• 論文標題：Cross-Lingual Jailbreak Detection via Semantic Codebooks
• 作者：Shirin Alanova、Bogdan Minko、Sabrina Sadiekh、Evgeniy Kokuykin
• 年份：2026
• 來源：arXiv:2604.25716
• 論文連結：https://arxiv.org/abs/2604.25716
• DOI：10.48550/arXiv.2604.25716
• 主題：Prompt Injection、Jailbreak Detection、Multilingual Security、LLM Guardrails、Embedding Security、AI Safety

這篇最值得看的，不是它又做了一個 jailbreak detector，而是它把一個很多團隊其實早就踩到、卻還沒真的正面處理的問題講得很白：

很多 LLM 安全機制真正缺的，不是再多一條英文規則，而是承認攻擊者只要換個語言，整套 guardrail 可能就忽然像沒開一樣。

如果只用一句話講這篇 paper 的核心，我會這樣下：

這篇在測的不是「語言翻譯會不會讓 jailbreak 變形」，而是「當 harmful intent 換語言之後，你的防線到底守的是語言表面，還是守得住語意本身」。

作者提出的方法其實很樸素：不用重訓、不改 target model、不靠逐語言微調，而是拿一個固定英文 jailbreak codebook，把輸入 query 和這份英文攻擊語料都嵌進同一個 multilingual embedding space，然後看最近鄰 cosine similarity 夠不夠高。高就擋，低就放行。

乍看很像簡單 baseline，但它打到的是一個很實際的部署問題：黑箱模型 API、第三方 LLM 服務、或已上線系統，往往沒辦法隨便重訓 safety layer；這時候外掛式 guardrail 能不能跨語言工作，才是很多團隊真正在意的事。

它在補哪個洞？不是「非英文也要安全」這種口號，而是 English-centric alignment 的結構性破口

論文開場切得很準。現有 LLM safety 機制大多是 English-centric：資料、測試、拒答風格、甚至防禦器設計都以英文為中心。這帶來的不是單純 coverage 不足，而是一個更危險的錯覺：

• 系統在英文看起來很安全
• 但使用者或攻擊者只要切到俄文、中文、阿拉伯文
• 同樣的 harmful intent 可能就從另一個語言通道滑進去

作者引用過去研究指出，把惡意提示翻成其他語言，本來就會顯著提高 jailbreak success rate。這篇的價值在於它不再問「多語言很重要嗎」這種大家都知道答案的問題，而是更具體地問：

如果我手上只有英文 unsafe prompt 庫，我能不能靠共享語意空間，把跨語言 jailbreak 至少擋掉第一波？

這個問題很重要，因為它直接關係到部署成本。你不可能為每個語言都蒐一整套高品質 jailbreak corpus，也不可能每次 target model 升版就整包重做 multilingual safety tuning。若英文 codebook 能外推，很多現場防禦就能變得便宜很多；若不能，團隊就必須承認自己其實只做了英文防禦。

方法很簡單，但工程上很有現實感

作者的方法可以濃縮成四步：

1. 收集英文 unsafe prompts，做成固定 codebook
2. 把 codebook 全部先編碼成 multilingual embeddings
3. 把任意語言的輸入 query 也編碼進同一空間
4. 用最大 cosine similarity 當分數，超過門檻就視為 unsafe

codebook 不是小樣本玩具。作者從 jayavibhav/prompt-injection-safety 的 training split 出發，從 15,237 筆 unsafe prompts 清洗後保留 13,811 筆唯一 jailbreak prompts。另外還用 Prompt-Guard-86M 和 Qwen3Guard-Gen-4B 做額外確認，降低資料噪音。

這個設計我覺得有兩個優點：

• 外掛式：能當 black-box LLM 的前置過濾器，不需要摸 target model 權重
• 訓練自由：不需要再收 multilingual jailbreak data 重新訓練 detector

但它也有一個先天限制：這條線能不能成立，幾乎完全取決於 harmful intent 在 embedding 空間裡到底是不是夠穩、夠近、夠跨語言一致。

這篇最重要的發現：跨語言 transfer 不是有或沒有，而是分成兩個世界

整篇 paper 我最喜歡的，不是某個模型高幾分，而是它把結果拆成兩種 regime：

• 第一種世界：攻擊長得像 canonical jailbreak template，語意外型很固定，跨語言轉移後還是抓得到。
• 第二種世界：攻擊行為比較雜、比較像真實世界、比較不按模板出牌，semantic similarity 就明顯失靈。

這不是小差異，而是整個方法可不可以拿去當一線 guardrail 的分水嶺。

作者用四個 benchmark 測試，在 BGE-M3 embedder 下：

• Benchmark 2 這種比較乾淨、模板感強的資料，英文 AUC 0.993，翻譯後仍有 0.847–0.884
• Benchmark 3 掉到 0.618–0.703
• Benchmark 4 更低，只剩 0.593–0.627

這個落差非常關鍵，因為它說明：

語意近鄰法不是沒用，而是它主要擅長抓「你其實只是把熟悉攻擊模板翻成別的語言」；一旦攻擊行為更異質、更貼近開放世界，純 similarity guardrail 很快就不夠了。

低誤報場景下，真相比 AUC 更殘酷

很多安全論文喜歡秀 AUC，但真正部署 guardrail 的人更在意的是：你如果把 FPR 壓到 1% 以下，還剩多少攻擊抓得到？

作者這裡做得對。他們不只看整體 separability，也看低 FPR 操作區間。因為現場不可能接受一個把大量正常查詢都誤擋的 safety filter。

在這個更貼近部署現實的條件下，差距又被放大了：

• 在 Benchmark 2，BGE-M3 仍能做到 78.5%–91.9% 的 TPR（FPR ≤ 1%）
• 但到了最異質的 Benchmark 4，所有 embedding model 幾乎都掉到個位數召回，大約 3.3%–6.4%

這裡最值得記住的一句不是「BGE-M3 不錯」，而是：

只要你真的把誤報成本當一回事，semantic similarity guardrail 在 heterogeneous jailbreak 上就會快速暴露它的 recall 天花板。

也就是說，這方法很適合拿來擋熟面孔，但不適合被幻想成能單獨擋住所有跨語言越獄。

真正有用的是 end-to-end mitigation，不是分類分數

作者沒有停在 detector metrics，還把這個 pre-filter 接到三個 target LLM 上做實際 mitigation 測試：Qwen、Llama、GPT-3.5。

這部分很重要，因為安全上你真正關心的不是 detector 分數，而是：

• 最後 harmful prompt 有沒有進到模型
• 進去後 harmful response 有沒有變少
• 部署後到底能不能實際壓低 attack success rate

整體結果同樣呈現兩個世界：

• Benchmark 1：成功 jailbreak 平均減少 96.2%
• Benchmark 2：平均減少 50.0%
• Benchmark 3：降到 43.7%
• Benchmark 4：只剩 18.6%

這個曲線很誠實。它告訴你：在模板化、高相似度攻擊上，這種 guardrail 當第一道門很有效；但在更像真實世界的 diverse unsafe prompts 上，它只能算是削弱，不是封堵。

embedding model 的選擇，不只是精度差異，而是 operational robustness 差異

作者還比較了三種 embedding models：BGE-M3、multilingual-e5-large、jina-embeddings-v3。有意思的是，整體 AUC 有時看起來不會差太遠，但一進入低 FPR 區間，差距就變得很實際。

論文舉的例子很能說明問題：在某個中文翻譯設定下，BGE-M3 在 FPR ≤ 1% 時的 TPR 是 21.6%，而 multilingual-e5-large 只有 4.8%。

這代表什麼？代表如果你只看整體 ranking quality，會低估 deploy 時的風險。安全系統最怕的不是平均表現普通，而是：

• 到了低誤報條件，召回突然整段塌掉
• 跨語言時 embedding alignment 不穩
• 不同翻譯管線讓語意邊界飄移

所以這篇雖然方法不複雜，但它提醒了一個很務實的點：安全 guardrail 的 embedding 選型，不該只看 offline semantic benchmark，而要看低誤報條件下還剩多少可用召回。

codebook 越大越好？沒有那麼簡單

論文也做了 codebook 大小分析。結果很符合直覺，但值得被明講：

• codebook 變大，通常能提高 coverage 與 TPR
• 但同時也會把 FPR 一起往上推

換句話說，這不是單純「多蒐幾萬條 jailbreak prompt 就會更安全」的問題，而是典型的 coverage–false alarm trade-off。對產品團隊來說，這意味著：

• 如果你做內部高風險場景，也許可以忍受更大 codebook 和更嚴格攔截
• 如果你做公共服務介面，誤擋成本高，門檻與 codebook 設計就得更保守

這篇對 AI 安全實務最有價值的地方

我覺得這篇最值得帶走的，不是「semantic codebook 很強」，而是它幫很多團隊重新校正了期待：

1. 跨語言安全不是翻譯問題而已，而是 alignment coverage 問題。
2. 外掛式 similarity guardrail 確實能擋掉一大批模板化跨語言越獄。
3. 但只靠這種方法，碰到異質、行為多樣、低模板依賴的攻擊時，很快就會遇到上限。

這很像傳統資安裡的 IOC / signature 問題。你不能說 signature 沒用，因為它對已知家族、常見樣式、批量攻擊很有價值；但你也不能把它當成能獨力處理 open-world threat 的主防線。

把這個類比搬回來，semantic codebook guardrail 最像的是：

• 一個跨語言的語意簽章前哨站
• 適合先攔掉大宗、熟悉、模板化的越獄請求
• 但後面仍需要行為分析、政策推理、上下文檢查、tool-use constraints，甚至 model-side alignment 一起補位

限制也要講清楚

• 它主要測的是翻譯後的 cross-lingual transfer。 這不等於所有 multilingual attack 都只是翻譯版本。
• 固定英文 codebook 有 coverage ceiling。 新型、隱晦、情境化攻擊未必會落在既有語意鄰域。
• benchmark 結果非常依賴資料分布。 在 canonical template 上很亮眼，不代表進入真實野外還能同樣漂亮。
• 它是 pre-filter，不是完整 defense stack。 它能減少部分 ASR，但不會自動解決 downstream harmful reasoning 或 tool abuse。

不過我反而認為，這些限制正是這篇論文最有價值的地方。它沒有把自己包裝成萬靈丹，而是很清楚地告訴你：哪種跨語言威脅它能擋，哪種它擋不住。

重點整理

• 這篇核心問題是：固定英文 jailbreak codebook，能不能透過 multilingual embedding 當成跨語言外掛式 guardrail？
• 方法完全不需要重訓 target model，適合 black-box API 或已上線系統。
• 作者用 13,811 筆英文 jailbreak prompts 建立 codebook，測試俄文、中文、阿拉伯文及兩種翻譯管線。
• 結果出現明顯兩種 regime：對 canonical jailbreak templates，AUC 可到 0.99；對 heterogeneous unsafe prompts，AUC 掉到大約 0.60–0.70。
• 在部署最在意的 FPR ≤ 1% 條件下，Benchmark 2 還能有 78.5%–91.9% 的 TPR，但最難的 Benchmark 4 幾乎全面掉到個位數。
• 實際 mitigation 上，successful jailbreak 平均 reduction 從 96.2% 一路掉到 18.6%，說明這方法更像第一道門，而不是最後一道牆。
• BGE-M3 在低 FPR 條件下通常比其他 embedders 更穩，但 embedder 選型本身就是安全性關鍵。

一句話總結

這篇論文最重要的提醒是：很多所謂 multilingual LLM safety 真正缺的，不是把英文 guardrail 翻譯出去，而是先確認你的防線守的是語言表面，還是 harmful intent 本身；而 semantic codebook 能守住前半段，卻還遠守不到後半段。