Broken by Default 論文閱讀分析:很多 AI coding 真正危險的,不是它偶爾寫壞,而是它常把能跑和可被打爆一起交給你
Broken by Default 最重要的不是又做了一份模型排名,而是用 Z3 witness 把 AI 生成程式碼的漏洞從「看起來可疑」拉到「可被形式證明可利用」,直接打掉 secure-by-default 的錯覺。
2026 年 4 月 22 日
Broken by Default 最重要的不是又做了一份模型排名,而是用 Z3 witness 把 AI 生成程式碼的漏洞從「看起來可疑」拉到「可被形式證明可利用」,直接打掉 secure-by-default 的錯覺。
這篇論文最重要的發現,不是 LLM 會寫出有漏洞的程式,而是它很多時候其實知道什麼才是安全寫法;真正出錯的是生成最後階段,安全訊號被格式服從、任務完成與便利性需求壓過去。作者進一步用 mechanistic analysis 找到 suppression 發生的位置,並用 per-CWE activation steering 做局部修補。
這篇論文最重要的提醒,是在一般、看似無害的 LLM 寫碼任務裡,功能正確不代表安全正確;真正麻煩的是那些會讓團隊產生錯誤安全感的輸出——程式能跑、測試能過、外觀看起來像樣,卻仍把漏洞一起交付出去。