AI 到底考幾分?陪你慢慢讀一篇把「LLM 評測」講清楚的經典論文
起:一張跑分圖引起的小疑惑
不知道你有沒有過這種經驗:新模型發布的那天,時間軸上滿滿都是跑分圖,MMLU 又創新高、數學題又進步了幾個百分點,底下留言一片「太強了吧」。我通常也會跟著興奮一下,但興奮完,心裡總有個小小的聲音冒出來——這些分數,到底是怎麼來的呢?
考卷是誰出的?考了哪些東西?又是誰在改考卷?如果考卷本身就有問題,那分數再漂亮,好像也只是大家一起自我感覺良好而已。
帶著這個疑惑,我回頭把一篇放在書籤裡很久的論文好好讀完了:《A Survey on Evaluation of Large Language Models》(arXiv:2307.03109)。今天想把讀完的心得整理下來,陪還沒時間讀的你一起走一遍。
承:這篇論文在做什麼
這篇論文是第一篇完整盤點「LLM 該怎麼評測」的綜述,由吉林大學、微軟亞洲研究院、西湖大學、CMU 等單位的十六位研究者合寫,後來被 ACM TIST 期刊接收,全文有 45 頁。篇幅雖然嚇人,但它的骨架其實很溫柔,就只是三個問題:
考什麼(What to evaluate)、考卷哪來(Where to evaluate)、怎麼改分(How to evaluate)。
「考什麼」的範圍比想像中廣很多。除了我們熟悉的翻譯、問答、摘要這些語言任務,還包括推理能力、穩健性、倫理與偏見、醫療應用,甚至把 LLM 當 agent 來用的場景,都被納進來了。「考卷哪來」則整理了幾十份大家常聽到的 benchmark:像是涵蓋 57 個學科的 MMLU、Google 那份有兩百多個任務的 BIG-bench、史丹佛的 HELM,還有讓真人盲測投票的 Chatbot Arena。至於「怎麼改分」,不外乎兩條路——機器改(便宜快速,但常常抓不到回答好壞的本質)和人來改(比較準,但貴、慢,而且每個人標準不太一樣)。
這個三層拆法看起來平凡,用起來卻很舒服。你可能也注意過,網路上關於「哪個模型比較強」的爭論,常常吵到最後才發現大家講的不是同一件事:有人在講任務、有人在講基準、有人在講評分方式。先把層次分開,再來討論,心平氣和很多。
轉:分數好看,不代表沒事
不過,這篇論文最讓我停下來想很久的,不是那些整理得漂漂亮亮的表格,而是作者從上百篇評測研究裡歸納出來的「失敗案例」。
成功的部分我們都很熟了:文字流暢、對話自然、情感分析表現好。但翻到另一面,事情就沒那麼樂觀——模型在需要嚴謹語義判斷的自然語言推論任務上,表現其實平平;會一本正經地胡說八道,幻覺問題在醫療這種領域尤其讓人捏一把冷汗;抽象推理和規劃能力也比想像中弱,有研究甚至直接說,LLM 在規劃類任務上幾乎派不上用場。
對我們這些關心資安的人來說,還有一個發現特別值得放在心上:模型對「對抗性提示詞」非常敏感。論文引用的 PromptBench 研究顯示,只要在 prompt 上動一點人類幾乎察覺不到的手腳,模型的表現就會明顯下滑。換個角度想,這不就是我們最近常談的 prompt injection 嗎?如果手上的產品打算接 LLM,穩健性這一關,真的值得多留一點心。
另外還有一個很現實的問題:靜態的考卷,遲早會被「背題」。模型的訓練資料是從網路上爬來的,而考題也在網路上,資料污染幾乎躲不掉。這也解釋了為什麼有些模型跑分很高,實際用起來卻讓人皺眉頭。論文因此特別看好 DynaBench 這類動態評測的路線——考題持續由人類產生、不斷更新,讓模型沒辦法靠背答案過關。
合:評測是一門值得溫柔以待的學科
論文的結尾列了七個還沒解決的挑戰,像是怎麼設計真正能測 AGI 的 benchmark、怎麼做完整的行為評測、怎麼建立會演化的動態評測系統。其中我最喜歡的,是作者反覆強調的觀念:評測不該只是模型發布時附帶的行銷素材,它應該被當成一門獨立的學科來對待。
讀完整篇,我自己留下三個小小的心得,也分享給你。
一是,下次再看到跑分圖,可以先深呼吸,問問自己:考什麼、考卷哪來、怎麼改分。這三個問題會幫你把行銷語言還原成可以判斷的資訊。
二是,對資安人來說,這篇 survey 其實可以當成一份「LLM 攻擊面盤點」來讀。穩健性、幻覺、偏見、對抗性提示——每一個評測維度,反過來看都是一個可能被利用的弱點。導入 LLM 之前,拿這份清單問自己一輪,會比只看廠商簡報安心得多。
三是,雖然論文寫於 2023 年,有些 benchmark 如今已經被大家考到接近滿分,但它提出的框架一點也沒有過時。現在流行的模型競技場、用 LLM 當裁判、agent 評測,其實都走在這篇論文當年指出的方向上。
如果你也對這個主題有興趣,論文原文在 arXiv:2307.03109,作者們還維護著一個持續更新的資源庫 LLM-eval-survey。找個安靜的下午,泡杯咖啡慢慢讀,應該會跟我一樣覺得值得。