在討論了風險、風險管理和參與風險管理的不同利害關係人後，NIST AI RMF 要討論的一個核心問題是「到底怎樣的 AI 才是可以信任的？」畢竟風險來自於 AI 系統本身的不確定性，以及這些不確定性對系統可信賴所帶來的影響。

上圖是 NIST AI RMF 第三章針對 AI 可信賴議題所提出的七個考量面向1。當我們試圖討論 AI 系統是否可信時，思考的出發點必然是所有利害關係人對於此系統在這七面向上的要求與期待是什麼！若系統的設計與開發者能夠強化與重視這七面向上的議題時，系統所帶來的負面影響，才更有機會被控制在利害關係人較能接受的範圍內。反之，系統風險將會增加並且平添不要的問題。讀到這邊，聰明的讀者應該不難發現兩個沒被說清楚的問題：

  1. 強化七面向上的要求與議題，具體是哪個面向和哪些議題？
  2. 所有利害關係人能接受的狀態，又是怎樣的狀態? 說到底人人都滿意的方案有正確的解答嗎？而這些解答與滿意是否能持續不變？

想當然爾，上述的問題很容易會得到「依情境而定」與「權衡」兩個結論。這是因為可信賴性（Trustworthiness）並不只是技術或工程概念，同時也是一種具有社會性的概念（Social Concept）。換言之，答案和期望往往是如同光譜一樣展開，很難有非黑即白的答案。這也正是 AI 應用在帶來益處的同時，所帶來的棘手問題。

此外，除了各面向在不同利害關係人之間的答案有所不同外，面向之間也會產生影響。比方說，為了提升 AI 應用的可解釋性，可能需要保留或利用更多與使用者相關的資訊，但這是否又會侵蝕使用者的隱私權？又或者說，我們為了能夠保障使用的隱私，使得高維空間下資料分布過於稀疏，進而降低模型的準確度。那這樣所產生的結果是否又會影響推論結果的公平性呢？

NIST AI RMF 也明確地指出這樣的權衡並沒有唯一的解，所有參與規劃和設計的利害關係人需要面對的核心議題是「決策情境」和「價值」。簡單說就是在決策前搞清楚應用 AI 的情境和條件，並且確認這些設計與治理上的投入，是否真的能為既定目標帶來足夠的價值。與此同時，適當且充分地揭露這些資訊，以便讓 AI 應用變得可信賴。

說了這麼多，主要是為了鋪陳開頭所附上的圖。該圖將有效與可靠（Valid & Reliable）放在所有面向的基礎位置，因為一個無法穩定達成既定目的、也無法提供可信結果的 AI 系統，很難談後續其他可信賴特性；而可追溯與透明（Accountable & Transparent）則貫穿整體，讓系統的設計、決策與運作能被理解、檢視與追責。這張看似簡單的方塊圖，不僅列出應考慮的各面向，同時也透過其結構說明各面向上的依賴關係，以便讓讀者充分了解各面向之間的考量與限制。

最後，想要特別想要強調的是可信賴並非單純的工程問題，而且回扣了 NIST AI RMF 一開始對於 AI 應用是 social-technical 的定調。因此，在考慮可信賴時，我們並不會將模型品質(e.g. 準確度、精確度、召回率或 f1 等) 定義為某個面向。模型品質與工程的作為是支撐這些面向的手段，而此七面向是以使用者和利害關係人的角度的考量出發，這樣才能符合商業的目標和環境條件。

本文是第三章的總覽說明，後續我們將會七個面向拆成兩篇文章來說明。

1. Figure 4, ch03, NIST AI RMF, https://airc.nist.gov/airmf-resources/airmf/3-sec-characteristics/


如果你也正在思考如何在組織內的資訊系統與流程內追尋持續改善，那麼 CPHT 的豐富經驗和能力將會是你最好的選擇！ 👉 了解更多: https://www.cpht.pro