文章目錄

先說結論

有用的 AI 審核工作台會把提議與證據並列,顯示差異,並讓指定審核人作出明確決定。批准應綁定版本,與對外執行分開,錯誤及重試要可恢復。單靠勾選框,不能證明曾進行有意義的審核。

AI 流程可以設有真人審核步驟,卻幾乎沒有提供可審核的資料。漂亮預覽與「批准」按鈕鼓勵同事作決定,但原件、修改欄位和後果都可能被藏起來。介面應先協助發現問題,再要求接受結果。

圍繞一項決定及其所需證據設計收件匣。NIST 的 AI 風險管理框架要求界定責任,並評估真人監督。應把這些原則落實成真正的權限、資訊及動作;引用框架或顯示綠色剔號,不能證明控制措施有效。

示例工作流程

證據、決定、執行與回執

  1. 分派審核

  2. 對照證據與提議

  3. 處理重要差異

  4. 記錄綁定版本的決定

  5. 執行一次

  6. 核實結果或復原

快速判斷

每個狀態都要有明確含義

每個狀態都要有明確含義
狀態含義可進行的下一步
待審核輸出版本已可交由獲授權人員審核查看、修改、拒絕或索取資料
等待資料缺少一項已指定負責人的決策依據補上證據,再重新審核
已批准執行審核人接受了確切版本執行允許的動作
執行中/執行失敗/已完成執行結果另有紀錄核實、復原或查看回執

左右捲動,查看完整比較。

1. 先定義決定,再設計收件匣

列明輸出、審核角色、下游動作,以及哪些情況不應批准。批准一套修正文件以便交接,與批准付款是不同決定。識別要核對的欄位及需要專業判斷的問題。實際查閱範圍與決策權限要由後端執行,不能只依賴按鈕是否可見。

為每種決定列出必要證據。缺乏證據時,提供有負責人及理由的「索取資料」動作。在按鈕附近交代後果:哪些紀錄會改變、哪些資料會離開系統,以及是否能撤回。不要要求同事確認一個沒有說清楚的結果。

2. 讓收件匣顯示工作、責任與阻礙

每列顯示容易辨認的紀錄編號、擬執行動作、目前狀態、負責人、等候時間及阻礙。按已議定的優先次序,例如限期或後果排序,並讓同事篩選分派給自己的工作。「AI 任務」總數遠不及清楚顯示哪位同事正在等候作決定有用。

使用平靜的視覺規則:米白底上的近黑文字、一致間距,以及用於選取或主要動作的克制藍色。狀態文字本身要能傳達含義,不能依賴顏色。由詳細審核返回清單時,保留選取紀錄及捲動位置,讓同事直接繼續,而不用重新找位置。

3. 把原始證據放在提議欄位旁邊

寬螢幕上並列原件與提議,按固定次序顯示欄位差異。每個欄位連到相關頁碼或資料列,並顯示來源版本及擷取時間。分清擷取值、計算結果及模型建議,讓審核人知道需要哪種核對。

假設例子,並非客戶項目:出貨發票草稿是 12 個,倉庫紀錄則是 10 個。顯示「發票 12;裝箱 10」及兩個來源。讓審核人要求釐清,或附理由輸入已確認更正。98% 的信心分數不能解決實際裝了多少件貨物的分歧。

4. 讓決定與稽核紀錄綁定版本

分別提供「批准」、「修改後批准」、「拒絕」及「索取資料」。更改重要欄位或拒絕時要求理由,但不應逼同事為每次一般接受填寫空洞備註。記錄審核人、時間、來源版本、輸出版本、修改欄位及決定,並保留原提議以便日後比較。

批准後來源有變,應標示原批准已失效,把新版本送回審核。兩人同時操作時,後提交的一方應收到更新狀態,而不是默默覆蓋先前決定。為稽核紀錄設定權限及保存安排,避免在每個事件中重複複製不必要的敏感原文。

5. 分清獲接受的決定與已完成的動作

「已批准執行」不等於「已完成」。下游系統處理時顯示執行中,再記錄已核實回執或失敗。逾時導致結果不明時,顯示「正在核實結果」,先向接收端查證才提供重試。第一個動作可能已成功時,不應鼓勵再按一次。

Amazon 的冪等 API 指引說明,可用固定請求識別碼處理重複嘗試,避免重複產生同一效果。把這個原則應用到獲批動作及版本,並由伺服器處理重複請求。停用按鈕是有用回饋,但不能阻止重複網絡請求。動作改變時要有新決定及識別碼,不能沿用舊批准。

6. 以真實審核工作測試鍵盤、手機與復原

按 WCAG 2.2 檢查鍵盤操作、可見焦點、內容重排、錯誤提示及輔助科技可取得的狀態更新。審核人應不用滑鼠也能查看來源、修改欄位及作決定。手機上以同一欄位標籤上下排列證據與提議,不要硬塞成兩個看不清的欄。動作區也不能遮住正在操作的控制項。

測試正常批准、缺少來源、更正欄位、版本更改、兩位審核人、重複提交及接收端逾時。核實已保存決定與外部結果,而不只是看通知。重新打開失敗紀錄,確認證據及修改仍然可用。量度真正漏掉的差異與復原投入,才判斷這個審核流程是否有效。

決定之前

審核收件匣必須支持的檢查

  • 審核人能查看相關原件與差異。
  • 每個狀態都有下一步及負責人。
  • 批准綁定確切來源與輸出版本。
  • 執行、回執和重試與批准分開。
  • 鍵盤、手機、同時操作及失敗路徑都可用。

開始之前,常見問題

批准勾選框足以證明真人監督嗎?

它能記錄一次選取,但不能證明看過甚麼,或該人是否有能力作決定。需要提供證據、權限、有意義的動作及綁定版本的紀錄,再測試審核人能否發現預期差異。

可以一次批准多個 AI 輸出嗎?

只有決定、證據及後果適合批次審核時才考慮。顯示包含哪些紀錄及例外,保留每項版本紀錄,並避免未解決項目被批次批准掩蓋。

執行失敗後,重試前需要重新批准嗎?

要看獲批意圖與輸入是否改變。先核實不明結果。原動作仍有效時,可透過避免重複效果的機制重試;資料或意圖改變則須重新審核。

資料來源及延伸閱讀

  1. NIST AI Risk Management Framework: roles and human oversight
  2. W3C: Web Content Accessibility Guidelines 2.2
  3. Amazon Builders’ Library: making retries safe with idempotent APIs

下一步

工作流程自動化

如果這是適合你的方向,可以先釐清範圍、測試方式及交接安排。

了解相關服務 討論項目