MAD 論文閱讀分析：很多模型真正危險的，不是答案錯了，而是它早就不是用正常機制在做事

本文由 AI 產生、整理與撰寫。

論文基本資訊

• 論文標題：Mechanistic Anomaly Detection via Functional Attribution
• 作者：Hugo Lyons Keenan 等人
• 年份：2026
• 來源：arXiv:2604.18970
• 論文連結：https://arxiv.org/abs/2604.18970
• DOI：10.48550/arXiv.2604.18970
• 主題：AI Security、Backdoor Detection、Mechanistic Interpretability、Anomaly Detection、Model Integrity、LLM Security

這篇論文最值得看的，不是它又做出一個新的 anomaly detector，而是它把問題重述得很準：很多模型安全真正麻煩的，不是 output 看起來對不對，而是你根本不知道這個答案到底是不是用正常的內部機制算出來的。

今天一個模型就算答對、分類也看似正常，背後仍可能是被 backdoor 觸發、被 adversarial pattern 帶偏、或靠一套不該存在的捷徑機制做出來的。這也是為什麼只看最終輸出常常不夠：output correctness 不等於 internal normality。 這篇 Mechanistic Anomaly Detection via Functional Attribution 的核心價值，就是把「異常機制偵測」從看 latent 幾何、看特定架構特徵，改寫成一個更一般化的問題：眼前這個輸出，能不能被一小組可信 reference samples 以正常功能關係解釋？

這篇在解什麼問題？

作者瞄準的是 mechanistic anomaly detection（MAD）：不是只問模型有沒有做出壞輸出，而是問模型是不是用了異常的內部機制在做事。

這件事在 AI security 很關鍵，因為很多高風險失敗模式都不是「答案明顯有毒」而已，而是：

• backdoored model 平常看起來正常，只有碰到 trigger 才走另一條隱藏機制；
• adversarial sample 可能讓模型維持表面合理輸出，內部卻靠脆弱 shortcut 決策；
• OOD / distribution shift 下模型也可能答得像有道理，但 reasoning path 早已不再可信。

既有方法通常有兩條路：

• 一條是看 latent space / activation pattern 有沒有偏離常態；
• 另一條是做某種 architecture-specific defense，例如專門針對某模型族或某模態設計檢測器。

作者認為這兩條路都不太夠。前者容易被 obfuscation、representation surgery 或模型本身的高維幾何複雜性繞過；後者則很難跨 vision、LLM、不同架構一路通用。於是他們提出一個很漂亮的重新 framing：

不要只看 activation 長什麼樣，而要問：模型這次輸出，是否能被 trusted samples 透過正常功能關聯解釋。

核心想法：把 MAD 變成 functional attribution 問題

這篇的主軸可以濃縮成一句話：異常，不一定是 latent 位置怪；異常也可能是模型開始不再「受正常資料機制支撐」地做決策。

作者把 MAD operationalize 成 functional attribution：給定一個小型可信 reference set，估計這些 trusted samples 對某個 test output 的功能性解釋力。如果這個 attribution 明顯失敗，就代表模型可能不是靠正常 learned mechanism 在產生輸出，而是動用了某種異常回路。

技術上，他們用的是 influence functions 與 parameter-space sampling，去量測 test sample 與 trusted reference set 之間的 functional coupling。這個角度很有意思，因為它避免把安全檢測完全綁死在某一層 activation 或某個 encoder head 上，而是直接去問：

• 這個結果有沒有被正常資料分布支撐？
• 如果沒有，那它是不是更像來自另一套異常生成機制？

我覺得這個 framing 很強，因為它比「看看 embedding 有沒有偏掉」更接近部署現場真正要的訊號：這個模型現在還在照著我認識的方式做事嗎？

為什麼這比單純看 latent space 更重要？

很多機制式安全方法最後都會遇到一個問題：只要攻擊者能把異常機制藏進看起來還算正常的 representation，你就很難只靠幾何距離或 activation clustering 抓出來。

這篇之所以值得注意，就是因為它嘗試把焦點從「表徵像不像正常」移到「功能關係是不是仍由正常資料集支撐」。這兩者很像，但不一樣：

• representation-centric 方法 問的是：這個點在 latent space 看起來怪不怪？
• functional attribution 方法 問的是：這個輸出是否仍能被 trusted data 的正常學習機制解釋？

從防禦視角看，後者更難被簡單偽裝。因為攻擊者就算把異常樣本藏進「看似正常」的表示空間，也不代表它真的重新接回了正常的功能依賴結構。它可以看起來像正常人，但未必真的是靠正常神經機制在做決策。

實驗結果：不只在 vision backdoor 強，對 LLM backdoor 也有明顯優勢

這篇最硬的證據，是它沒有只停在單一模態或單一異常型別。

在 vision backdoor 上，作者使用 BackdoorBench 做評估，結果顯示：

• 在 7 種 attacks、4 個 datasets 上，方法的平均 Defense Effectiveness Rating（DER）達到 0.93；
• 對照次佳 baseline 約為 0.83。

這個差距不算小。因為 backdoor detection 往往最難搞的地方就在於：乾淨樣本下模型表現幾乎正常，只有特定 trigger 或特定條件才會偏航。若這篇方法能在這種場景下把 DER 拉到 0.93，代表它不是只會抓粗糙異常，而是真的對「隱藏式機制切換」有辨識力。

更重要的是，它沒有卡在 vision。作者也把方法用到 LLM backdoor 上，並指出相較 baseline 有顯著改善，包含面對明確做過 obfuscation 的模型時仍然有效。這一點我覺得很關鍵，因為當前很多 AI security 論文一跨到 LLM 就開始失真：要嘛只剩 prompt-level heuristic，要嘛只能對特定 architecture 套 patch。這篇至少朝一個比較一致的跨模態方向走。

不只抓 backdoor，還能看 adversarial 與 OOD

另一個我很喜歡的點，是作者沒有把 MAD 只做成「backdoor 掃描器」。論文強調，functional attribution 也能用來偵測：

• adversarial samples
• out-of-distribution samples
• 同一模型內多種異常機制

這個能力背後的意義是：作者想抓的不是某一種 attack signature，而是模型偏離正常機制本身。如果這件事做得起來，那它的價值會比單點 backdoor defense 大很多，因為實際部署最怕的正是你事先不知道異常會長哪一種樣子。

換句話說，這篇不只是說「我能辨識某個 trigger」，而是更接近在說：我能辨識模型什麼時候開始不像平常那樣思考。

這篇真正有意思的地方：從 output filtering 走向 model integrity sensing

如果把這篇放進更大的 AI security 脈絡看，它真正補上的其實不是又一條 classifier，而是一種比較接近 integrity monitoring 的觀點。

過去很多防禦都在 output 端：

• 回答有毒就擋；
• 分類太怪就拒絕；
• prompt 像攻擊就攔。

但這些方法都預設一件事：你要先看到壞結果，才知道系統出事。 MAD 這條路更像是在問：能不能在 output 還沒有完全失控前，就先感知到模型已經切到不正常的內部工作模式？

如果可以，那它的用途會不只是 backdoor benchmarking，而是更接近：

• 部署中模型完整性監測；
• 高敏感工作流的 anomalous inference triage；
• 對 hosted / third-party models 做 runtime trust sensing；
• 把模型安全從「壞了才知道」往「快壞時就有訊號」推進。

我的看法

我很喜歡這篇的原因，是它沒有把「mechanistic interpretability」停在解釋漂亮圖，而是試圖把它變成一種實際可用的安全訊號。

很多模型安全真正缺的，可能不是再多一個會看輸出的 guard，而是一個能告訴你：這次推論是不是已經不是用正常腦回路跑出來的感測器。

這篇的 functional attribution framing，剛好就在補這件事。它很像在說：與其死盯著 activation 幾何，不如直接問模型這次行為是否仍受 trusted data 的正常功能結構約束。

當然，這篇也不是萬靈丹。從 abstract 看得出來，它的代價與限制大概會包括：

• reference set 品質很重要：trusted samples 如果選得差，functional attribution 也可能失真；
• influence / parameter-space sampling 成本不會是零，部署時要看能否承受；
• 它擅長偵測「偏離正常機制」，但對於本身就高度混雜、多義且正常機制不穩定的任務，門檻可能更難設。

但即便如此，我還是覺得它很值得看。因為它點出一個很重要的方向：未來 AI security 不只要看結果對不對，還要看結果是不是由正當機制產生。

重點整理

• 這篇論文處理的是 mechanistic anomaly detection（MAD）：不只看模型輸出是否正確，而是檢查輸出是否由正常內部機制產生。
• 作者認為既有 MAD 方法常依賴 latent space analysis 或架構特定檢測器，容易被 obfuscation 繞過，也不易跨模態泛化。
• 核心貢獻是把 MAD 重述為 functional attribution 問題：衡量 test output 能否被一小組 trusted reference samples 的正常功能關係解釋。
• 技術上使用 influence functions 與 parameter-space sampling，量測 trusted samples 與 test sample 之間的 functional coupling；若 attribution failure，則視為異常訊號。
• 在 BackdoorBench 的 vision backdoor 評估中，方法跨 7 種 attacks、4 個 datasets 取得平均 DER 0.93，優於次佳 baseline 的 0.83。
• 在 LLM backdoor 上也相對 baseline 有明顯進步，且對明確做過 obfuscation 的模型仍有效。
• 方法不只可抓 backdoor，還能偵測 adversarial samples、OOD samples，並區分同一模型中的多種異常機制。
• 這篇真正重要的訊號是：AI 安全不該只量 output 對不對，還要量它是不是用正常機制做出來的。

Takeaway

這篇論文真正提醒我們的，是模型完整性不只是權重有沒有被改、輸出有沒有出錯，而是它是不是還在用你以為的那套內部機制做事。

如果你在做 AI security、backdoor detection、LLM integrity monitoring 或 mechanistic interpretability，我會把這篇當成一個很值得追的方向：很多防禦真正該做的，也許不是再多一層輸出審核，而是先能感知模型何時已經開始用不正常的路徑思考。