AI 系統評估與驗證：用測試集與證據判斷品質

AI 系統上線前如何驗證品質，而不是只看幾次展示？

把真實任務轉成有輸入、環境、預期結果、失敗條件與評分依據的測試，重複執行並檢查實際產物與狀態。回答流暢不代表正確，自稱完成不代表工作已發生；同一題成功一次也不代表可靠。本文提出可逐步建置的評估方法，不提供通用通過率或宣稱測試能證明零風險。模型、提示、工具、資料、權限與環境都屬受測系統，不能只比較模型排行榜。

第一步：把需求寫成可判斷的測試契約

例如任務是「依指定政策回答差旅申請條件」，契約需列有效政策、使用者可讀範圍、必要條件、引用與資料不足時的反應。若是執行工作，還要列實際可修改內容與禁止副作用。NIST 的量測指引要求定義操作情境、有效性與超出條件的限制。[S1] 本文建議先讓兩名熟悉任務的人判斷同一案例；若連人都無法對通過條件達成理解，先修需求，不急著跑分。

第二步：建立代表性與有挑戰性的測試集

資料來源可含經允許且去識別的真實問題、歷史錯誤、常見任務與刻意設計邊界。分為正常、缺資料、矛盾、過期、越權、工具失敗及惡意內容等類別，保留來源與預期。開發可看的案例和保留測試分開，避免只學會題目。多語言、不同角色與不同資料量分層呈現，不用大量簡單題沖淡少數嚴重失敗。測試大小依問題、變異與風險決定，不能靠固定題數保證完整。

第三步：每題最少需要哪些欄位？

• 任務與情境：讀者或操作者、輸入、可讀資料、環境起始狀態及版本。
• 預期：必要答案、可接受變體、應拒絕或轉人工的條件、禁止動作。
• 判準：程式檢查、專家評分、來源對照及各自負責的部分，附參考結果。
• 證據：輸出、工具請求與回應、實際狀態、時間與成本、錯誤分類及重跑紀錄。

測試資料也需要治理：不能把未授權機密直接複製成可任意分享的評測集。參考答案若過期，會讓正確的新答案被誤判；需有維護人與更新依據。

第四步：挑適合的評分方法，並測評分者

Anthropic 的 Agent 評估文章區分程式、模型與人工評分，且強調模型評分要與人工校準。[S2] 程式適合檢查格式、檔案、權限拒絕與實際狀態；語意與專業內容需要明確規準及適當人工。模型可以輔助大量初評，卻也可能偏好長答案、誤讀引用或順從錯誤前提。抽取同一批資料比較人工與模型分歧，讓不確定可回報，不用模型彼此同意當成真實證據。

第五步：驗證成果，必要時也檢查過程

工具執行後應直接查產物或服務狀態：檔案有沒有正確內容、紀錄是否更新、訊息是否真的送出。不能只讀模型最後一句「完成」。過程紀錄則檢查是否讀取禁止資料、跳過核准或重複執行；結果正確不會抵銷越權。另一方面，沒有安全或契約理由時，不應強迫模型走某一串唯一工具順序；有效的新做法也可能達成同一成果。區分必要控制與偶然實作，測試才不會脆弱。

第六步：重複試驗並記錄環境

同題多次試驗可能得到不同結果。固定資料、工具回應條件、權限與必要版本，為每次測試使用隔離且可回復的環境，防止前次殘留幫下一次過關。記錄每題成功次數與總試驗數，分清「多試幾次至少一次成功」與「每次都可靠」。逾時與基礎設施錯誤另外標記，不能全部算模型錯或全部排除；說明它們對使用者體驗的影響與計分方法。

假設情境：知識問答答對，但引用了不能看的文件

假設某員工詢問差旅政策，答案文字正確，卻附上其他部門的受限附件。若只看答案相似度，會給高分；完整測試應檢查該身份實際可讀來源、引用可達與權限拒絕。另一題把核准資料移除，預期系統承認資料不足，而不是憑記憶補答。這些情境的驗收同時看內容與權限，不宣稱某一次通過就代表所有角色、文件與版本皆安全。

第七步：能力、回歸與發布門檻分開

能力測試探索尚做不好的工作，回歸測試保護原本能完成的任務，權限與重大失敗則有不可被平均掩蓋的門檻。版本更動後重跑適用測試，列出新增通過、退步、未測與已知限制。若為了修一題改了評分規則，應由適當獨立者確認，並保留舊結果。人工可接受較低品質的探索，不等於該版本可直接對外自動執行；發布決定要符合實際用途與後果。

指標口徑怎麼寫才不誤導？

任務成功率寫「通過所有必要判準的試驗／有效試驗」，並同報各類別與失敗原因。來源支持率可檢查引用是否支持具體主張，不能只算有連結；拒答需同看應拒絕與可回答案例，避免系統全部拒答反而高分。成本包含失敗重跑與人工覆核，時間分主動處理與等待。對樣本量與變異保留不確定性，單一總分不是完整品質或投資效益。

哪些情況不能靠這一套簡單評估下結論？

專業、高影響與公平性問題需要適合情境的專家、資料與研究，不能用一般模型評分代替。離線測試也未必代表正式流量、資料分布或服務依賴。上線後需持續監測新失敗與變更，經確認後加入回歸，避免資料外洩或測試污染。測試不通過可能是系統錯、需求不清或評分器錯，先查證再改模型；不能為了漂亮分數刪除難題。

常見問題：要幾題、可全由 AI 評、每次都要重跑嗎？

問：先做幾題才夠？答：先涵蓋核心任務與嚴重失敗，再依變異、風險與資料補強，沒有適用所有系統的最低神奇數字。問：模型評模型可取代人嗎？答：可協助初評，但需與人工及可直接查驗的事實校準，保留分歧。問：小改動也重跑全部？答：依影響範圍選必要回歸，跨共用提示、資料或工具的變更需擴大；沒有本輪證據就不能沿用舊通過結果。

來源依據與證據界線

1. S1 · NIST AI RMF Playbook: Measure

   NIST · 查閱 2026-10-22

   實讀MEASURE2.5有效性/可靠性與泛化限制、操作情境/量測假設/變異與部署後監測；2.6提及獨立觀點及壓力情境。 不以少數測試宣稱完整安全、統計保證或所有族群有效；本文門檻須依任務設定。

2. S2 · Demystifying evals for AI agents

   Anthropic · 查閱 2026-10-22

   實讀task/trial/grader/trace/outcome區別、程式/模型/人工grader、校準、重複試驗與獨立環境、成果而非自述驗證。 廠商方法經驗並非跨產品保證；不引用其效能數字或把範例門檻作通用標準。