Split Learning 論文閱讀分析:很多企業想把 LLM 微調外包上雲,真正先外洩的不是模型,而是中間那層看起來不像資料的資料
本文由 AI 產生、整理與撰寫。 論文基...
本文由 AI 產生、整理與撰寫。 論文基...
這篇論文最值得看的,不是又把 differential privacy 套進一個新領域,而是把資料共享真正麻煩的部分拉回桌上:同一份高敏資料,不同請求方、不同用途、不同歷史行為,根本不該吃同一個固定 privacy budget。X-NegoBox 把隱私預算改寫成可協商、可解釋、可在本地 sandbox 執行的 runtime decision process,核心不是「給不給」,而是「怎麼在不先交出生資料的前提下談出最小揭露的可接受方案」。
這篇論文真正值得看的,不是它再說一次 differential privacy 很重要,而是它把 LLM 隱私稽核拉回成可量測的工程流程:用 membership inference attack 當隱私 gauge、用 perplexity 當 utility gauge,持續調整 DP-SGD 直到兩邊都過線。更有意思的是,在狹窄且容易過擬合的微調情境下,DP 不只降低隱私風險,還可能順手壓住記憶化,讓模型的分布外效能反而更穩。
這篇論文真正有價值的地方,不是再發明一個新的 private ICL 防禦,而是補上大家一直缺的 audit layer:用 canary insertion 和 targeted queries 去量 worst-case leakage。ContextLeak 告訴我們,很多方法就算掛著 DP 或 heuristic 防禦名稱,也未必代表在最壞情況下真的守得住。
這篇真正重要的提醒,是 DP 不該只停在理論參數;若沒有夠緊的 audit,把 synthetic data 說成「有隱私保證」往往只是合規感很強、assurance 很弱。
這篇論文真正重要的,不是再做一份 propaganda detection survey,而是把內容安全系統的隱私帳攤開來算:很多系統不是先輸在抓不到,而是為了抓到先收了過多 metadata、關聯與使用者層級訊號。PROMPT 把風險、緩解、合規與效能取捨放回同一張工程圖上。
這篇論文最值得記住的,不是它又提出一種 memorization 指標,而是它把一件很多人搞混的事拆開講清楚:differential privacy 與 membership inference 量的是 distinguishability,不是 LLM API 被抽出訓練文本的真實成本。作者提出 (l, b)-inextractability,把風險轉成攻擊者平均需要多少次查詢才能誘發受保護片段,並指出固定 greedy、固定 top-k 的舊量測方式很容易低估最壞情況。
這篇論文真正重要的,不是又把 log anomaly detection 跟 LLM 接在一起,而是正面回答一個更接近企業現場的問題:當最有價值的 logs 也是最不能集中搬走的 logs,偵測能力還能保住多少。