靖本

前三章討論了風險、關係人和信任，這也是在運用 AI 技術時應該思考並且尋求平衡的要素，但當我們認同這套方法，並且開始將 NIST AI RMF 導入組織時，又會浮出另一件重要的事那就是「這些規範或做法到底做對了嗎？」。NIST AI RMF 的第四章便是想要回答： 如果組織採用了 AI RMF，應該從哪些地方觀察它是否真的改善了 AI 風險管理能力？ 不過，可信任或 AI 風險等議題要如何有一套客觀且能作為基準的評估作法並不是一件簡單的事，所以 NIST 和相關社群目前也還在致力於找尋一套如何評估的框架或方法。不過，可以確認的是任何有效性或改善程度的確認，都需要透過週期性的評估才能得知，而觀察的範圍應該要包含政策、流程、實務做法、執行計畫的內容與狀況、指標、衡量方式和預期成果，以便能夠從風險管理能力和AI 系統的可信賴程度兩方面，了解組織在 AI 治理上是否達到預期的目標與效益。 在第四章中，特別羅列了運用 AI RMF 可能獲得的九項預期效益： AI 風險管理流程更加成熟且完整 組織在治理、辨識、衡量與處置 AI 風險時，應該能有更清楚、一致且可持續的作法，並且能將相關結果完整記錄下來。 更清楚掌握可信賴特性、風險與社會技術因素間的關係與權衡 組織能更完整地理解不同可信賴特性彼此如何影響，以及技術、人員、流程與使用情境如何共同改變 AI 風險，讓權衡決策不再只看單一指標。 更明確的 AI 系統啟用與部署決策流程 在 AI 系統是否應該投入使用、繼續推進部署或暫緩上線等決策上，組織能有更清楚的判斷依據與決策流程，而不是只憑技術完成度或單一單位決定。 更健全的問責機制 組織能更清楚地知道 AI 風險由誰負責、如何處理，以及發生問題時應該如何追查、回應與補救，避免責任落在模糊地帶。 更成熟的 AI 風險管理文化 AI 風險不再只是治理、法遵或技術單位的工作，而會逐漸成為組織在規劃、開發、部署與使用 AI 時共同考量的事情。 更好的 AI 風險資訊共享 AI 風險、決策依據、責任、事件經驗與改善方式能更有效地在不同團隊甚至不同組織之間流動，減少資訊只停留在單一專案或角色手上的情況。 更強的情境理解與下游風險辨識能力 組織能更完整地理解 AI 的實際使用情境，並更早察覺 AI 輸出在後續流程、其他系統或不同群體中可能產生的延伸風險。 更充分的利害關係人與 AI Actors 參與 不同專業、使用者以及可能受到 AI 影響的人，有更多機會參與風險辨識、評估與決策，使組織更不容易只從單一技術或管理角度看待問題。 更強的 TEVV1 能力 組織在測試、評估、驗證與確認（TEVV）AI 系統及其風險時，能具備更完整的方法、資源與持續執行能力，而不只是系統上線前做一次性的驗收。 從這九項預期效益可以發現，判斷 AI RMF 是否有效，並不是看組織有沒有建立一份 AI 政策、完成多少次風險評估，或者使用了多少治理工具，而是回頭觀察這些作法是否真的改善了組織辨識、理解、評估與管理 AI 風險的能力。也因為如此，AI RMF 的導入並不是一次性的工作。組織需要週期性地回頭檢視政策、流程、實務做法、指標與成果，確認原本的治理機制是否仍然有效，又有哪些地方需要調整。換言之，真正值得關心的不是「我們有沒有導入 AI RMF」，而是「導入之後，我們是不是變得更會管理 AI 風險」。 至於這些風險管理活動究竟應該如何被具體執行，接下來就要進入 AI RMF 的核心（AI RMF Core），看看 NIST 如何透過 Govern、Map、Measure 與 Manage 四個 Function，把前面談到的這些觀念轉換成實際的風險管理活動。

這篇文章是介紹 NIST AI RMF 第三章系列文章的最後一篇。當 AI 系統真正進入組織與使用者的決策情境後，除了前一篇文章1中提到的三面向外，尚有另外四個面向，分別是可追溯與透明（Accountable & Transparent）、可解釋與可理解（Explainable & Interpretable）、隱私強化（Privacy-Enhanced），以及公平與有害偏見受到管理（Fair – With Harmful Bias Managed）。相較於前一篇較偏向系統本身的有效性、安全性與韌性，這四個面向更直接牽涉到 AI 與人、組織及社會之間的互動。換言之，AI 不只要「做得對」，還需要讓人知道它為什麼這樣做、誰該為結果負責、使用者的資料是否受到妥善保護，以及不同群體是否受到合理且公平的對待。接下來本文將分別介紹這四個面向： Accountable & Transparent 可信賴的 AI 必須具備問責（Accountable）性，而問責又建立在透明（Transparent）的基礎上。這裡的透明不是單純把所有資訊公開，而是依照 AI 系統所處的生命週期階段，以及不同角色的知識與需求，提供適當程度的資訊。這些資訊可能涵蓋系統設計決策、訓練資料、模型訓練方式、預期用途，以及部署與實際使用過程中的重要決策。 透明的目的之一，是讓人能夠理解 AI 系統發生了什麼事情，並在錯誤或負面影響發生時，具有追查與補救的可能性。因此，資料來源、決策紀錄以及相關文件都可能成為支援透明與問責的重要機制。當然提升透明與問責本身需要投入資源，也因此在思考此面向的實現時，還必須考量商業機密、專有資訊以及智慧財產權等限制。換言之，透明並不是資訊揭露越多越好，而是要在風險、使用需求與實施成本之間取得適當平衡。

這篇文章延續 NIST AI RMF 第三章，討論如何在有效、可靠、安全、資安與韌性等條件下思考 AI 的運用。這些概念分別集中在第三章七個可信賴面向中的三個面向，NIST 也引用 ISO 9000:2015 與 ISO/IEC TS 5723:2022 等標準中的相關定義來協助說明。接下來本文將分別介紹這三個面向： Valid & Reliable 此面向其實濃縮了四個軟體系統上的特性，不過我們可以直觀地先就字面意義來了解此面向。Valid 代表的是所期待即所得，而 Reliable 則是在既知範圍內保證系統仍持續提供有效的能力。進一步來討論這四個特性分別是： Validation 此特性關注的並非單純「模型準不準」，而是整合模型後的 AI 系統，是否真的滿足原先所設定的使用目的與需求。換言之，即使模型本身的評測結果很好，如果放進實際系統後無法完成原本期待的任務，仍然不能說這個 AI 系統已經被充分驗證。 Reliability 此特性並不是要求系統在任何情況下都必須提供可接受的回應，而是在已知且事先界定的使用條件與時間範圍內，能夠持續依照要求運作。這裡的重點在於持續性，一個偶爾能夠給出正確結果，卻無法在預期條件下穩定維持表現的系統，很難被稱為可靠。 Accuracy 此特性就相對直觀了，也就是系統所得出的結果與實際的結果或可接受的結果相當靠近，甚至是一模一樣，而在模型實作上，我們也往往追求此特性。不過需要注意的是 Accuracy 的追求是有其成本和代價的，所以在設定期望的 Accuracy 時，應該考量實際業務的需求和成本。 Robustness Robustness 代表的是當輸入、環境或使用情境產生變化時，系統是否仍能維持適當的功能與表現。這些變化甚至可能包含原先設計時沒有預期到的使用情況。因此，Robustness 並不只是「輸入變了還答不答得出來」，也包含系統進入非預期情境後，能否避免產生不合理或可能造成傷害的結果。 上述四個特性構成了 Valid & Reliable 面向，而此面向也是七個面向的基礎，畢竟不能持續提供可靠且值得相信的結果的系統，我想討論其他面向都是沒有意義的。

在討論了風險、風險管理和參與風險管理的不同利害關係人後，NIST AI RMF 要討論的一個核心問題是「到底怎樣的 AI 才是可以信任的？」畢竟風險來自於 AI 系統本身的不確定性，以及這些不確定性對系統可信賴所帶來的影響。 上圖是 NIST AI RMF 第三章針對 AI 可信賴議題所提出的七個考量面向1。當我們試圖討論 AI 系統是否可信時，思考的出發點必然是所有利害關係人對於此系統在這七面向上的要求與期待是什麼！若系統的設計與開發者能夠強化與重視這七面向上的議題時，系統所帶來的負面影響，才更有機會被控制在利害關係人較能接受的範圍內。反之，系統風險將會增加並且平添不要的問題。讀到這邊，聰明的讀者應該不難發現兩個沒被說清楚的問題： 強化七面向上的要求與議題，具體是哪個面向和哪些議題？ 所有利害關係人能接受的狀態，又是怎樣的狀態? 說到底人人都滿意的方案有正確的解答嗎？而這些解答與滿意是否能持續不變？ 想當然爾，上述的問題很容易會得到「依情境而定」與「權衡」兩個結論。這是因為可信賴性（Trustworthiness）並不只是技術或工程概念，同時也是一種具有社會性的概念（Social Concept）。換言之，答案和期望往往是如同光譜一樣展開，很難有非黑即白的答案。這也正是 AI 應用在帶來益處的同時，所帶來的棘手問題。 此外，除了各面向在不同利害關係人之間的答案有所不同外，面向之間也會產生影響。比方說，為了提升 AI 應用的可解釋性，可能需要保留或利用更多與使用者相關的資訊，但這是否又會侵蝕使用者的隱私權？又或者說，我們為了能夠保障使用的隱私，使得高維空間下資料分布過於稀疏，進而降低模型的準確度。那這樣所產生的結果是否又會影響推論結果的公平性呢？ NIST AI RMF 也明確地指出這樣的權衡並沒有唯一的解，所有參與規劃和設計的利害關係人需要面對的核心議題是「決策情境」和「價值」。簡單說就是在決策前搞清楚應用 AI 的情境和條件，並且確認這些設計與治理上的投入，是否真的能為既定目標帶來足夠的價值。與此同時，適當且充分地揭露這些資訊，以便讓 AI 應用變得可信賴。