AI

這篇文章延續 NIST AI RMF 第三章，討論如何在有效、可靠、安全、資安與韌性等條件下思考 AI 的運用。這些概念分別集中在第三章七個可信賴面向中的三個面向，NIST 也引用 ISO 9000:2015 與 ISO/IEC TS 5723:2022 等標準中的相關定義來協助說明。接下來本文將分別介紹這三個面向： Valid & Reliable 此面向其實濃縮了四個軟體系統上的特性，不過我們可以直觀地先就字面意義來了解此面向。Valid 代表的是所期待即所得，而 Reliable 則是在既知範圍內保證系統仍持續提供有效的能力。進一步來討論這四個特性分別是： Validation 此特性關注的並非單純「模型準不準」，而是整合模型後的 AI 系統，是否真的滿足原先所設定的使用目的與需求。換言之，即使模型本身的評測結果很好，如果放進實際系統後無法完成原本期待的任務，仍然不能說這個 AI 系統已經被充分驗證。 Reliability 此特性並不是要求系統在任何情況下都必須提供可接受的回應，而是在已知且事先界定的使用條件與時間範圍內，能夠持續依照要求運作。這裡的重點在於持續性，一個偶爾能夠給出正確結果，卻無法在預期條件下穩定維持表現的系統，很難被稱為可靠。 Accuracy 此特性就相對直觀了，也就是系統所得出的結果與實際的結果或可接受的結果相當靠近，甚至是一模一樣，而在模型實作上，我們也往往追求此特性。不過需要注意的是 Accuracy 的追求是有其成本和代價的，所以在設定期望的 Accuracy 時，應該考量實際業務的需求和成本。 Robustness Robustness 代表的是當輸入、環境或使用情境產生變化時，系統是否仍能維持適當的功能與表現。這些變化甚至可能包含原先設計時沒有預期到的使用情況。因此，Robustness 並不只是「輸入變了還答不答得出來」，也包含系統進入非預期情境後，能否避免產生不合理或可能造成傷害的結果。 上述四個特性構成了 Valid & Reliable 面向，而此面向也是七個面向的基礎，畢竟不能持續提供可靠且值得相信的結果的系統，我想討論其他面向都是沒有意義的。

在討論了風險、風險管理和參與風險管理的不同利害關係人後，NIST AI RMF 要討論的一個核心問題是「到底怎樣的 AI 才是可以信任的？」畢竟風險來自於 AI 系統本身的不確定性，以及這些不確定性對系統可信賴所帶來的影響。 上圖是 NIST AI RMF 第三章針對 AI 可信賴議題所提出的七個考量面向1。當我們試圖討論 AI 系統是否可信時，思考的出發點必然是所有利害關係人對於此系統在這七面向上的要求與期待是什麼！若系統的設計與開發者能夠強化與重視這七面向上的議題時，系統所帶來的負面影響，才更有機會被控制在利害關係人較能接受的範圍內。反之，系統風險將會增加並且平添不要的問題。讀到這邊，聰明的讀者應該不難發現兩個沒被說清楚的問題： 強化七面向上的要求與議題，具體是哪個面向和哪些議題？ 所有利害關係人能接受的狀態，又是怎樣的狀態? 說到底人人都滿意的方案有正確的解答嗎？而這些解答與滿意是否能持續不變？ 想當然爾，上述的問題很容易會得到「依情境而定」與「權衡」兩個結論。這是因為可信賴性（Trustworthiness）並不只是技術或工程概念，同時也是一種具有社會性的概念（Social Concept）。換言之，答案和期望往往是如同光譜一樣展開，很難有非黑即白的答案。這也正是 AI 應用在帶來益處的同時，所帶來的棘手問題。 此外，除了各面向在不同利害關係人之間的答案有所不同外，面向之間也會產生影響。比方說，為了提升 AI 應用的可解釋性，可能需要保留或利用更多與使用者相關的資訊，但這是否又會侵蝕使用者的隱私權？又或者說，我們為了能夠保障使用的隱私，使得高維空間下資料分布過於稀疏，進而降低模型的準確度。那這樣所產生的結果是否又會影響推論結果的公平性呢？ NIST AI RMF 也明確地指出這樣的權衡並沒有唯一的解，所有參與規劃和設計的利害關係人需要面對的核心議題是「決策情境」和「價值」。簡單說就是在決策前搞清楚應用 AI 的情境和條件，並且確認這些設計與治理上的投入，是否真的能為既定目標帶來足夠的價值。與此同時，適當且充分地揭露這些資訊，以便讓 AI 應用變得可信賴。

延續系列文章的風險與風險管理，目前討論到的都是需要管理的目標和管理時的要點，但說到底誰來管理這些風險？又是誰來為識別與提出這些風險呢？ 因此，在討論完風險後，最重要的是了解在這些管理活動中，到底有哪些角色需要參與，才能讓整個風險管理活動更加周全。從直觀的角度來看，通常會想到組織內人工智慧相關技術的資深工程師，如資料科學家、模型工程師等，又或者是品質系統或治理單位的成員等，但實際當我們在思考人工智慧技術應用到組織內時，這些角色（Actor）應該考量所有會影響 AI 系統如何被設計、建置、部署、使用、評估，或會受到系統影響的人。 NIST AI RMF 認為人工智慧之於組織與人，並不是技術單方面產生影響，而是人與技術之間持續互動，也就是社會技術（Socio-Technical）的視角。因此,想要正確地理解所有利害關係人得先回到該規範第二章中所描繪的 AI 系統的生命週期與關聯面向，如下圖： 此圖1來源自 OECD，並且針對 Test, Evaluation, Verification, and Validation（TEVV）和 AI system 的 operational context 進行了強調與調整。從圖來看，第二圈指出思考模型的四個面向，而最外環則指出 AI 系統生命週期的各階段。不過整張圖的重點在於一件事，也就是 AI 系統的生命週期並不只是在於模型開發。AI 系統的生命週期涵蓋從資料蒐集與處理、模型建立、部署與使用，到營運與監控等活動，並且形成持續迭代的循環。

風險管理就是管理風險，聽起來好像很直觀，但具體來說要做哪些事情呢？是對風險進行評估？是來一場審查？是進行一次稽核？或者進行某種測試？感覺聽起來沒問題，但感覺好像又漏了些什麼！ NIST AI RMF 再一次沿用了 ISO 31000:2018 對於風險管理的定義： 組織為了針對風險進行方向引導與控制，而有系統地協調各項管理活動 簡單說，風險管理並不是進行某一種單一行動，而是協調多種管理活動，讓組織在面對風險時能夠建立一致的方向、做出適當的判斷，並採取相應的控制措施。 因此，風險評估、審查、稽核或測試都可能是風險管理的一部分，但單獨進行其中任何一項，都不能代表完整的風險管理。在後續的文章中，我們會逐步地去瞭解 NIST AI RMF 在風險管理上所主張的相關活動與舉措，但在進一步了解這些方法前，最重要的是有正確的 mindset，因為這樣才能讓自己在規劃與執行風險管理時仍持續地保持謹慎並且尋求更好的做法，而建構 mindset 的最好方法，不外乎就是了解風險管理的棘手挑戰。NIST AI RMF 在這裡進一步提出了四個 AI 風險管理需要面對的重要課題： 1. 風險衡量 組織的資源永遠都是有限的。為了能夠正確地將資源投到關鍵的風險，對風險進行衡量是相當重要的舉措。在面對尚無有效衡量方式或尚未進行衡量的風險時，很難憑藉直觀方式來判定是否需要投入資源，畢竟未能被衡量的風險，既不能假定是高風險也無法認為不能衡量就是低風險，而這也是規範裡開宗明義所指出的一個要點。 常見的風險衡量方式多半會設計一些評估條件並且透過風險矩陣來進行。不過聽起來貌似簡單，但面對 AI 應用，NIST 針對衡量又提出了七類的挑戰：