論文閱讀：Universal and Transferable Adversarial Attacks on Aligned Language Models
對齊語言模型的通用與可轉移對抗攻擊論文閱讀分析：當模型學會拒答，不代表它已經真正安全
本文由 AI 產生、整理與撰寫。
論文基本資訊
- 論文標題：Universal and Transferable Adversarial Attacks on Aligned Language Models
- 作者：Andy Zou、Zifan Wang、Nicholas Carlini、Milad Nasr、J. Zico Kolter、Matt Fredrikson
- 年份：2023
- 來源：arXiv:2307.15043
- 論文連結：https://arxiv.org/abs/2307.15043
- 主題：大型語言模型安全、對齊、越獄攻擊、對抗式提示、可轉移攻擊
研究背景
大型語言模型在部署前通常會經過對齊程序，目的是降低其生成危險、違規或不當內容的機率。這些程序可能包含指令微調、人工回饋強化學習、安全微調或規則式約束。從產品表面來看，這些方法通常有效，因為模型在面對高風險問題時，多半會拒答、規避，或改以勸導方式回應。
然而，這種拒答行為本身並不等於模型已失去危險生成能力。若模型只是學會在一般輸入分布下偏好拒答，而底層知識與生成能力仍然存在，那麼安全性很可能只是輸出偏好的改寫，而不是能力的根本移除。本文的研究重點正是檢驗這件事：對齊後的語言模型，是否真的具備對抗穩健性，還是只在常規使用條件下看起來安全。
研究問題
本文處理的問題相當清楚。作者關注的不是人工設計的零星越獄技巧，而是更具系統性的三個問題：
- 是否可以自動化地產生有效攻擊，而不依賴人工設計？
- 是否存在可重複使用的通用攻擊後綴，而不是每個危險問題都要單獨構造提示？
- 這類攻擊是否可以從開源模型轉移到黑箱商用模型？
若以上三點同時成立，就表示當前對齊機制的脆弱性不是局部個案，而是可被規模化利用的安全問題。
威脅模型與問題設定
本文採用的威脅模型並不複雜，但非常有代表性。攻擊者面對的是一個已經做過對齊的對話式大型語言模型。原始使用者請求本身是一個模型理應拒答的危險指令。攻擊者不改寫這個危險意圖，而是在其後附加一段對抗性後綴（adversarial suffix），使模型由原本的拒答，轉為順從並提供回應。
這個設定的重要性在於，原始危險請求並沒有被包裝成無害問題，也不是被重新敘述成灰色區域，而是被保留下來。攻擊若成功，表示安全邊界不是被語意誤導，而是被提示層級的對抗輸入直接扭轉。
方法概觀
本文的方法核心，不是要求模型輸出某一整段固定的危險答案，而是要求模型先進入一種肯定式回應模式。作者觀察到，只要模型開始以「好的，以下提供……」這類順從性前綴開頭，後續就更容易沿著同一條生成路徑產出原本應該拒絕的內容。
因此，本文的最佳化目標並不是完整控制答案內容，而是提高模型輸出肯定式前綴的機率。這種設計有三個優點：
- 避免把攻擊目標綁死在某一條唯一答案上。
- 更符合語言模型逐詞生成的特性，因為回答開頭會影響整體生成軌跡。
- 更有利於形成可跨多個危險請求重複使用的通用攻擊。
數學形式化
作者把語言模型視為一個對下一詞元給出條件機率的生成模型。若輸入詞元序列為 x1:n，模型對下一詞元的條件機率為：
p(x_{n+1} | x_{1:n})若目標前綴為長度 H 的詞元序列 x*_{n+1:n+H}，則其條件機率可寫為：
p(x*_{n+1:n+H} | x_{1:n}) = ∏_{i=1}^{H} p(x*_{n+i} | x_{1:n+i-1})本文將攻擊損失函數定義為這段目標前綴的負對數似然值：
L(x_{1:n}) = - log p(x*_{n+1:n+H} | x_{1:n})若可修改的位置集合記為 I，整個攻擊問題可以表示為：
min L(x_{1:n})
x_I ∈ {1,...,V}^{|I|}其中 V 為詞彙表大小，I 對應的正是對抗性後綴所在位置。這裡的難點在於，最佳化變數不是連續向量，而是離散詞元，因此無法直接使用一般的梯度下降。
核心方法：貪婪座標梯度法（Greedy Coordinate Gradient, GCG）
本文的主要技術貢獻，是提出一個能在離散詞元空間中搜尋對抗性後綴的方法：貪婪座標梯度法（Greedy Coordinate Gradient, GCG）。
方法的基本思路是：
- 對每個可修改位置，計算損失對該詞元的一位元表示的梯度。
- 利用梯度方向，為每個位置挑出最有可能讓損失下降的前
k個候選詞元。 - 把這些候選實際代入模型做前向計算，得到真實損失。
- 選擇本輪最能降低損失的替換，作為更新結果。
若第 i 個位置當前詞元為 x_i，其一位元表示為 e_{x_i}，則梯度寫為：
∇_{e_{x_i}} L(x_{1:n}) ∈ R^{|V|}候選集合則寫為：
X_i := Top-k(-∇_{e_{x_i}} L(x_{1:n}))也就是說，方法先用梯度找方向，再用真實前向計算做驗證。這使得它比完全暴力搜尋更有效率，也比只憑梯度近似更可靠。
為什麼 GCG 比既有方法更有效？
本文與自動提示法（AutoPrompt）等方法的差異，不只是有沒有使用梯度，而是如何安排搜尋。自動提示法通常每輪先鎖定某一個位置，再只在該位置上測試替換；本文方法則會對所有可修改位置同時計算候選，最後在更大的候選池中找出真正最能降低損失的替換。
這個設計讓搜尋更全面，也減少過早陷入局部最佳的機率。實驗結果顯示，即使只是這樣的改動，也能在多數評估設定下帶來非常明顯的成功率提升。
通用攻擊：從單一請求擴展到多個危險行為
若只對單一危險請求進行最佳化，得到的通常只是特定問題的專用攻擊。本文更進一步要證明的是：存在一段固定後綴，能同時對多個危險行為有效。為了達成這個目標，作者將多個危險請求共同納入最佳化，讓同一段後綴在多個任務上一起降低損失。
此外，作者發現把訓練請求分批逐步加入，比起一開始就同時納入全部請求，更容易找到穩定的通用後綴。這表示通用攻擊的形成，不只是求一個更低的損失，而是需要讓後綴逐步學到跨請求共享的攻擊方向。
多模型最佳化與可轉移性
本文另一個重要設計，是在最佳化時同時使用多個來源模型。這樣做的目的，不是只讓後綴更適合某一個模型，而是迫使它去捕捉多個模型共享的脆弱結構。作者實際上使用了多個開源對話模型作為來源模型，例如不同尺寸的 Vicuna 與 Guanaco。
一旦經過這種多模型聯合最佳化後得到的後綴，仍能成功攻擊其他未參與訓練的模型，就代表這些攻擊利用的不是單一系統的偶發缺陷，而是對齊語言模型之間的共通弱點。
實驗資料與評估設計
為了系統性評估攻擊效果，作者建立了 AdvBench，分成兩類任務：
- 有害字串（Harmful Strings）：共 500 條有害或不當字串，要求模型精確輸出指定內容。
- 有害行為（Harmful Behaviors）：共 500 個危險行為指令，要求模型合理地嘗試配合該行為。
前者用來測試精細控制能力，後者則更接近真實越獄場景。本文主要使用攻擊成功率（attack success rate, ASR）作為評估指標；在有害字串任務中，另以目標字串的交叉熵損失作為輔助衡量。
白箱模型結果
| 模型 | 方法 | 有害字串成功率 | 有害行為成功率 | 多行為訓練成功率 | 多行為測試成功率 |
|---|---|---|---|---|---|
| Vicuna-7B | GBDA | 0.0% | 4.0% | 4.0% | 6.0% |
| Vicuna-7B | PEZ | 0.0% | 11.0% | 4.0% | 3.0% |
| Vicuna-7B | 自動提示法 | 25.0% | 95.0% | 96.0% | 98.0% |
| Vicuna-7B | 本文方法 | 88.0% | 99.0% | 100.0% | 98.0% |
| LLaMA-2-7B-Chat | GBDA | 0.0% | 0.0% | 0.0% | 0.0% |
| LLaMA-2-7B-Chat | PEZ | 0.0% | 0.0% | 0.0% | 1.0% |
| LLaMA-2-7B-Chat | 自動提示法 | 3.0% | 45.0% | 36.0% | 35.0% |
| LLaMA-2-7B-Chat | 本文方法 | 57.0% | 56.0% | 88.0% | 84.0% |
這組結果說明三件事。第一，本文方法在有害字串任務上的優勢非常大，表示它不只會讓模型失去拒答能力，還能更精確地把輸出推向指定目標。第二，本文方法在多行為通用攻擊設定下仍維持很高成功率，尤其在 Vicuna-7B 上對未見測試行為仍有 98.0% 成功率。第三，在較難攻擊的模型上，GCG 與其他基線的差距更明顯，代表方法的價值不只是小幅提升，而是有效打開原本難以擊穿的安全邊界。
黑箱模型上的可轉移攻擊結果
| 方法設定 | GPT-3.5 | GPT-4 | Claude-1 | Claude-2 | PaLM-2 |
|---|---|---|---|---|---|
| 僅有有害行為 | 1.8% | 8.0% | 0.0% | 0.0% | 0.0% |
| 有害行為 + 肯定式後綴 | 5.7% | 13.1% | 0.0% | 0.0% | 0.0% |
| 有害行為 + 本文方法後綴 | 34.3% | 34.5% | 2.6% | 0.0% | 31.7% |
| 有害行為 + 多模型聯合最佳化後綴 | 47.4% | 29.1% | 37.6% | 1.8% | 36.1% |
| 有害行為 + 多後綴串接 | 79.6% | 24.2% | 38.4% | 1.3% | 14.4% |
| 有害行為 + 多後綴集成 | 86.6% | 46.9% | 47.9% | 2.1% | 66.0% |
黑箱結果是本文最有代表性的部分。首先，直接附加簡單的肯定式語句，雖然比原始攻擊略好，但提升幅度有限；真正有效的是經過最佳化後得到的特定後綴。其次，從開源模型上訓練出的攻擊後綴，確實能轉移到 GPT-3.5、GPT-4、PaLM-2 與部分 Claude 模型。這證明對齊脆弱性不是單一模型偶發失誤，而具有跨模型共享性。最後，不同商用模型對攻擊的抵抗力差異很大，顯示安全邊界的具體形狀並不一致，但低成功率不代表完全安全，只表示本文方法較難直接擊穿。
圖表結果的關鍵意義
本文另一個值得重視的觀察，是來源模型上的損失下降與黑箱模型上的攻擊成功率並不同步。隨著訓練進行，對來源模型而言，損失會持續下降；但對黑箱模型而言，成功率通常先上升，再在部分情況下降低。這表示對抗性後綴會對來源模型產生過度擬合。也就是說，在白箱模型上看似最優的攻擊，不一定是最具轉移性的攻擊。
這個現象的研究意義在於，未來若要設計更強的黑箱攻擊，不能只以來源模型上的最低損失為目標，而必須把泛化能力與可轉移性本身納入最佳化考量。
本文的主要貢獻
- 第一，本文提出一個有效的離散詞元攻擊方法。 GCG 證明，在不依賴人工構思的情況下，仍可自動搜尋出穩定且強效的對抗性後綴。
- 第二，本文證明通用攻擊後綴的存在。 越獄不必然是每題單獨設計的技巧，而可以形成跨多個危險請求重複使用的固定字串。
- 第三，本文系統性展示了黑箱可轉移性。 攻擊可從開源模型轉移到商用模型，代表其利用的是更深層的共享脆弱結構。
- 第四，本文改變了對齊安全的評估方式。 模型是否在自然情境下拒答，已不足以代表安全，還必須檢驗其在對抗式輸入下是否仍能維持拒答。
研究限制
這篇論文雖然重要，但仍有幾點限制需要注意。
- 第一，商用模型結果具有時間性。 文中測試的是 2023 年當時版本的 GPT、Claude 與 PaLM 系統，後續產品更新可能已改變其防護形態。
- 第二，有害行為任務的成功判定帶有人工判讀成分。 與精確字串匹配不同，有害行為是否成功，需要依照回應內容判定模型是否合理配合。
- 第三，本文主要證明的是拒答邊界可被擊穿。 攻擊成功不必然代表所有案例都會產生高品質、長鏈條、可直接執行的完整危害內容，但只要模型開始穩定失去拒答能力，安全風險就已經成立。
重點整理
- 本文關注的是對齊語言模型是否真的具備對抗穩健性，而不只是平時看起來會拒答。
- 作者提出的不是人工越獄技巧，而是一個可自動搜尋對抗性後綴的方法。
- 攻擊目標不是完整危險答案，而是讓模型先輸出肯定式開頭，藉此帶動整體生成路徑。
- GCG 在白箱模型上明顯優於既有方法，並能形成對多個危險行為都有效的通用後綴。
- 這些後綴可轉移到 GPT、PaLM 與部分 Claude 模型，說明安全脆弱性具有跨模型共享特徵。
- 本文最重要的結論，是拒答行為不等於真正安全；對齊程序很可能主要改變的是輸出偏好，而不是移除危險能力。
Takeaway
這篇論文真正改變的，不只是人們對越獄攻擊的理解，而是人們對「對齊」本身的理解。它清楚指出，許多對齊後的語言模型依然保有危險生成能力，對齊程序更多是把這些能力壓到較低機率區域，而不是從根本上移除它們。一旦對抗式輸入能夠穩定地把模型拉回順從模式，那麼表面上的拒答就只是脆弱的輸出偏好，而不是穩健的安全保障。從安全研究的角度看，本文將越獄從零散的提示技巧，提升為可形式化、可最佳化、可轉移且可量化的對抗攻擊問題，這也是它至今仍然重要的原因。
免責聲明
本文由 AI 產生、整理與撰寫，內容主要依據公開論文、技術文件與可取得之研究資料進行彙整、解讀與摘要。儘管已盡力確保內容之完整性與可讀性，仍可能因模型理解限制、資料來源差異、語意轉譯過程或資訊更新時間差而存在疏漏、不精確或更新延遲之處。本文內容僅供研究交流與知識分享參考，實際技術細節、實驗設定與最終結論，仍應以原始論文、官方文件及作者公開資料為準。