Differential Privacy

這篇論文最值得記住的，不是它又提出一種 memorization 指標，而是它把一件很多人搞混的事拆開講清楚：differential privacy 與 membership inference 量的是 distinguishability，不是 LLM API 被抽出訓練文本的真實成本。作者提出 (l, b)-inextractability，把風險轉成攻擊者平均需要多少次查詢才能誘發受保護片段，並指出固定 greedy、固定 top-k 的舊量測方式很容易低估最壞情況。