AI

在討論了風險、風險管理和參與風險管理的不同利害關係人後，NIST AI RMF 要討論的一個核心問題是「到底怎樣的 AI 才是可以信任的？」畢竟風險來自於 AI 系統本身的不確定性，以及這些不確定性對系統可信賴所帶來的影響。 上圖是 NIST AI RMF 第三章針對 AI 可信賴議題所提出的七個考量面向1。當我們試圖討論 AI 系統是否可信時，思考的出發點必然是所有利害關係人對於此系統在這七面向上的要求與期待是什麼！若系統的設計與開發者能夠強化與重視這七面向上的議題時，系統所帶來的負面影響，才更有機會被控制在利害關係人較能接受的範圍內。反之，系統風險將會增加並且平添不要的問題。讀到這邊，聰明的讀者應該不難發現兩個沒被說清楚的問題： 強化七面向上的要求與議題，具體是哪個面向和哪些議題？ 所有利害關係人能接受的狀態，又是怎樣的狀態? 說到底人人都滿意的方案有正確的解答嗎？而這些解答與滿意是否能持續不變？ 想當然爾，上述的問題很容易會得到「依情境而定」與「權衡」兩個結論。這是因為可信賴性（Trustworthiness）並不只是技術或工程概念，同時也是一種具有社會性的概念（Social Concept）。換言之，答案和期望往往是如同光譜一樣展開，很難有非黑即白的答案。這也正是 AI 應用在帶來益處的同時，所帶來的棘手問題。 此外，除了各面向在不同利害關係人之間的答案有所不同外，面向之間也會產生影響。比方說，為了提升 AI 應用的可解釋性，可能需要保留或利用更多與使用者相關的資訊，但這是否又會侵蝕使用者的隱私權？又或者說，我們為了能夠保障使用的隱私，使得高維空間下資料分布過於稀疏，進而降低模型的準確度。那這樣所產生的結果是否又會影響推論結果的公平性呢？ NIST AI RMF 也明確地指出這樣的權衡並沒有唯一的解，所有參與規劃和設計的利害關係人需要面對的核心議題是「決策情境」和「價值」。簡單說就是在決策前搞清楚應用 AI 的情境和條件，並且確認這些設計與治理上的投入，是否真的能為既定目標帶來足夠的價值。與此同時，適當且充分地揭露這些資訊，以便讓 AI 應用變得可信賴。

延續系列文章的風險與風險管理，目前討論到的都是需要管理的目標和管理時的要點，但說到底誰來管理這些風險？又是誰來為識別與提出這些風險呢？ 因此，在討論完風險後，最重要的是了解在這些管理活動中，到底有哪些角色需要參與，才能讓整個風險管理活動更加周全。從直觀的角度來看，通常會想到組織內人工智慧相關技術的資深工程師，如資料科學家、模型工程師等，又或者是品質系統或治理單位的成員等，但實際當我們在思考人工智慧技術應用到組織內時，這些角色（Actor）應該考量所有會影響 AI 系統如何被設計、建置、部署、使用、評估，或會受到系統影響的人。 NIST AI RMF 認為人工智慧之於組織與人，並不是技術單方面產生影響，而是人與技術之間持續互動，也就是社會技術（Socio-Technical）的視角。因此,想要正確地理解所有利害關係人得先回到該規範第二章中所描繪的 AI 系統的生命週期與關聯面向，如下圖： 此圖1來源自 OECD，並且針對 Test, Evaluation, Verification, and Validation（TEVV）和 AI system 的 operational context 進行了強調與調整。從圖來看，第二圈指出思考模型的四個面向，而最外環則指出 AI 系統生命週期的各階段。不過整張圖的重點在於一件事，也就是 AI 系統的生命週期並不只是在於模型開發。AI 系統的生命週期涵蓋從資料蒐集與處理、模型建立、部署與使用，到營運與監控等活動，並且形成持續迭代的循環。

風險管理就是管理風險，聽起來好像很直觀，但具體來說要做哪些事情呢？是對風險進行評估？是來一場審查？是進行一次稽核？或者進行某種測試？感覺聽起來沒問題，但感覺好像又漏了些什麼！ NIST AI RMF 再一次沿用了 ISO 31000:2018 對於風險管理的定義： 組織為了針對風險進行方向引導與控制，而有系統地協調各項管理活動 簡單說，風險管理並不是進行某一種單一行動，而是協調多種管理活動，讓組織在面對風險時能夠建立一致的方向、做出適當的判斷，並採取相應的控制措施。 因此，風險評估、審查、稽核或測試都可能是風險管理的一部分，但單獨進行其中任何一項，都不能代表完整的風險管理。在後續的文章中，我們會逐步地去瞭解 NIST AI RMF 在風險管理上所主張的相關活動與舉措，但在進一步了解這些方法前，最重要的是有正確的 mindset，因為這樣才能讓自己在規劃與執行風險管理時仍持續地保持謹慎並且尋求更好的做法，而建構 mindset 的最好方法，不外乎就是了解風險管理的棘手挑戰。NIST AI RMF 在這裡進一步提出了四個 AI 風險管理需要面對的重要課題： 1. 風險衡量 組織的資源永遠都是有限的。為了能夠正確地將資源投到關鍵的風險，對風險進行衡量是相當重要的舉措。在面對尚無有效衡量方式或尚未進行衡量的風險時，很難憑藉直觀方式來判定是否需要投入資源，畢竟未能被衡量的風險，既不能假定是高風險也無法認為不能衡量就是低風險，而這也是規範裡開宗明義所指出的一個要點。 常見的風險衡量方式多半會設計一些評估條件並且透過風險矩陣來進行。不過聽起來貌似簡單，但面對 AI 應用，NIST 針對衡量又提出了七類的挑戰：

這些年，AI 的蓬勃發展和誘人的可能性，早已讓組織一股腦地投入 AI 相關應用與探索，以便提升自身的競爭力。不過隨著技術漸漸落地，應該也不難發現 AI 所帶來的不確定性。比方說，即便發送相同問題的請求，AI 也無法保證次次給出相同或預期的結果，而且這還不討論近幾年大語言模型的幻覺現象。因此，想要從 AI 獲得好處，我們需要思考的是如何管控這些不確定性，並且做出合理的權衡決策。 NIST AI RMF 便是用來協助組織管理 AI 所帶來的風險與影響，讓組織能在控制潛在危害的同時，真正取得 AI 所帶來的效益。 想要了解這個工具，首先得先來聊聊 Risk 在風險管理情境下的概念。在日常情境下，聽到 Risk 這個字多半會先想到負面的事件。不過在風險管理的角度上來看，Risk 卻有更為寬廣的定義。 ISO 31000 定義 Risk2 為不確定性對既定目標所產生的影響(effect of uncertainty on objectives)