Automated Red Teaming

2026

AutoRISE 論文閱讀分析:很多 LLM red teaming 真正缺的,不是再多一條 prompt,而是讓攻擊策略自己進化

這篇論文真正麻煩的地方,不是又多了幾句會 jailbreak 的 prompt,而是把 automated red teaming 從「改寫提示詞」往上抬成「改寫整個攻擊策略程式」。AutoRISE 讓 coding agent 直接編輯 strategy.py,根據固定 evaluation harness 回傳的成功率、多樣性、新穎性與覆蓋率訊號持續演化 attack pipeline。對防守方來說,這提醒我們真正要面對的可能已經不是 prompt collection,而是會自己換打法的攻擊者。

2026 年 4 月 29 日

AutoInject 論文閱讀分析:當 Prompt Injection 開始自己學會怎麼攻擊,防線就不能再假設對手只會手工拼字串

AutoInject 這篇論文最值得注意的,不是它又做出一個 prompt injection 範例,而是它把攻擊從人工 red teaming 推進成可被強化學習最佳化的自動化程序。當 adversarial suffix 能被系統化搜尋、又能跨模型與任務遷移時,很多仰賴固定模板與靜態字串規則的 agent 防線,就會開始撐不住。

2026 年 4 月 17 日