前三章討論了風險、關係人和信任，這也是在運用 AI 技術時應該思考並且尋求平衡的要素，但當我們認同這套方法，並且開始將 NIST AI RMF 導入組織時，又會浮出另一件重要的事那就是「這些規範或做法到底做對了嗎？」。NIST AI RMF 的第四章便是想要回答：

如果組織採用了 AI RMF，應該從哪些地方觀察它是否真的改善了 AI 風險管理能力？

不過，可信任或 AI 風險等議題要如何有一套客觀且能作為基準的評估作法並不是一件簡單的事，所以 NIST 和相關社群目前也還在致力於找尋一套如何評估的框架或方法。不過，可以確認的是任何有效性或改善程度的確認，都需要透過週期性的評估才能得知，而觀察的範圍應該要包含政策、流程、實務做法、執行計畫的內容與狀況、指標、衡量方式和預期成果，以便能夠從風險管理能力和AI 系統的可信賴程度兩方面，了解組織在 AI 治理上是否達到預期的目標與效益。

在第四章中，特別羅列了運用 AI RMF 可能獲得的九項預期效益：

  1. AI 風險管理流程更加成熟且完整 組織在治理、辨識、衡量與處置 AI 風險時，應該能有更清楚、一致且可持續的作法，並且能將相關結果完整記錄下來。
  2. 更清楚掌握可信賴特性、風險與社會技術因素間的關係與權衡 組織能更完整地理解不同可信賴特性彼此如何影響，以及技術、人員、流程與使用情境如何共同改變 AI 風險，讓權衡決策不再只看單一指標。
  3. 更明確的 AI 系統啟用與部署決策流程 在 AI 系統是否應該投入使用、繼續推進部署或暫緩上線等決策上，組織能有更清楚的判斷依據與決策流程，而不是只憑技術完成度或單一單位決定。
  4. 更健全的問責機制 組織能更清楚地知道 AI 風險由誰負責、如何處理，以及發生問題時應該如何追查、回應與補救，避免責任落在模糊地帶。
  5. 更成熟的 AI 風險管理文化 AI 風險不再只是治理、法遵或技術單位的工作，而會逐漸成為組織在規劃、開發、部署與使用 AI 時共同考量的事情。
  6. 更好的 AI 風險資訊共享 AI 風險、決策依據、責任、事件經驗與改善方式能更有效地在不同團隊甚至不同組織之間流動，減少資訊只停留在單一專案或角色手上的情況。
  7. 更強的情境理解與下游風險辨識能力 組織能更完整地理解 AI 的實際使用情境，並更早察覺 AI 輸出在後續流程、其他系統或不同群體中可能產生的延伸風險。
  8. 更充分的利害關係人與 AI Actors 參與 不同專業、使用者以及可能受到 AI 影響的人，有更多機會參與風險辨識、評估與決策，使組織更不容易只從單一技術或管理角度看待問題。
  9. 更強的 TEVV1 能力 組織在測試、評估、驗證與確認（TEVV）AI 系統及其風險時，能具備更完整的方法、資源與持續執行能力，而不只是系統上線前做一次性的驗收。

從這九項預期效益可以發現，判斷 AI RMF 是否有效，並不是看組織有沒有建立一份 AI 政策、完成多少次風險評估，或者使用了多少治理工具，而是回頭觀察這些作法是否真的改善了組織辨識、理解、評估與管理 AI 風險的能力。也因為如此，AI RMF 的導入並不是一次性的工作。組織需要週期性地回頭檢視政策、流程、實務做法、指標與成果，確認原本的治理機制是否仍然有效，又有哪些地方需要調整。換言之，真正值得關心的不是「我們有沒有導入 AI RMF」，而是「導入之後，我們是不是變得更會管理 AI 風險」。 至於這些風險管理活動究竟應該如何被具體執行，接下來就要進入 AI RMF 的核心（AI RMF Core），看看 NIST 如何透過 Govern、Map、Measure 與 Manage 四個 Function，把前面談到的這些觀念轉換成實際的風險管理活動。

1. 想了解更多 TEVV，請參閱 https://www.cpht.pro/blog/blog-post-60/


如果你也正在思考如何在組織內的資訊系統與流程內追尋持續改善，那麼 CPHT 的豐富經驗和能力將會是你最好的選擇！ 👉 了解更多: https://www.cpht.pro