安全與合規

這篇文章是介紹 NIST AI RMF 第三章系列文章的最後一篇。當 AI 系統真正進入組織與使用者的決策情境後，除了前一篇文章1中提到的三面向外，尚有另外四個面向，分別是可追溯與透明（Accountable & Transparent）、可解釋與可理解（Explainable & Interpretable）、隱私強化（Privacy-Enhanced），以及公平與有害偏見受到管理（Fair – With Harmful Bias Managed）。相較於前一篇較偏向系統本身的有效性、安全性與韌性，這四個面向更直接牽涉到 AI 與人、組織及社會之間的互動。換言之，AI 不只要「做得對」，還需要讓人知道它為什麼這樣做、誰該為結果負責、使用者的資料是否受到妥善保護，以及不同群體是否受到合理且公平的對待。接下來本文將分別介紹這四個面向： Accountable & Transparent 可信賴的 AI 必須具備問責（Accountable）性，而問責又建立在透明（Transparent）的基礎上。這裡的透明不是單純把所有資訊公開，而是依照 AI 系統所處的生命週期階段，以及不同角色的知識與需求，提供適當程度的資訊。這些資訊可能涵蓋系統設計決策、訓練資料、模型訓練方式、預期用途，以及部署與實際使用過程中的重要決策。 透明的目的之一，是讓人能夠理解 AI 系統發生了什麼事情，並在錯誤或負面影響發生時，具有追查與補救的可能性。因此，資料來源、決策紀錄以及相關文件都可能成為支援透明與問責的重要機制。當然提升透明與問責本身需要投入資源，也因此在思考此面向的實現時，還必須考量商業機密、專有資訊以及智慧財產權等限制。換言之，透明並不是資訊揭露越多越好，而是要在風險、使用需求與實施成本之間取得適當平衡。

這篇文章延續 NIST AI RMF 第三章，討論如何在有效、可靠、安全、資安與韌性等條件下思考 AI 的運用。這些概念分別集中在第三章七個可信賴面向中的三個面向，NIST 也引用 ISO 9000:2015 與 ISO/IEC TS 5723:2022 等標準中的相關定義來協助說明。接下來本文將分別介紹這三個面向： Valid & Reliable 此面向其實濃縮了四個軟體系統上的特性，不過我們可以直觀地先就字面意義來了解此面向。Valid 代表的是所期待即所得，而 Reliable 則是在既知範圍內保證系統仍持續提供有效的能力。進一步來討論這四個特性分別是： Validation 此特性關注的並非單純「模型準不準」，而是整合模型後的 AI 系統，是否真的滿足原先所設定的使用目的與需求。換言之，即使模型本身的評測結果很好，如果放進實際系統後無法完成原本期待的任務，仍然不能說這個 AI 系統已經被充分驗證。 Reliability 此特性並不是要求系統在任何情況下都必須提供可接受的回應，而是在已知且事先界定的使用條件與時間範圍內，能夠持續依照要求運作。這裡的重點在於持續性，一個偶爾能夠給出正確結果，卻無法在預期條件下穩定維持表現的系統，很難被稱為可靠。 Accuracy 此特性就相對直觀了，也就是系統所得出的結果與實際的結果或可接受的結果相當靠近，甚至是一模一樣，而在模型實作上，我們也往往追求此特性。不過需要注意的是 Accuracy 的追求是有其成本和代價的，所以在設定期望的 Accuracy 時，應該考量實際業務的需求和成本。 Robustness Robustness 代表的是當輸入、環境或使用情境產生變化時，系統是否仍能維持適當的功能與表現。這些變化甚至可能包含原先設計時沒有預期到的使用情況。因此，Robustness 並不只是「輸入變了還答不答得出來」，也包含系統進入非預期情境後，能否避免產生不合理或可能造成傷害的結果。 上述四個特性構成了 Valid & Reliable 面向，而此面向也是七個面向的基礎，畢竟不能持續提供可靠且值得相信的結果的系統，我想討論其他面向都是沒有意義的。

在討論了風險、風險管理和參與風險管理的不同利害關係人後，NIST AI RMF 要討論的一個核心問題是「到底怎樣的 AI 才是可以信任的？」畢竟風險來自於 AI 系統本身的不確定性，以及這些不確定性對系統可信賴所帶來的影響。 上圖是 NIST AI RMF 第三章針對 AI 可信賴議題所提出的七個考量面向1。當我們試圖討論 AI 系統是否可信時，思考的出發點必然是所有利害關係人對於此系統在這七面向上的要求與期待是什麼！若系統的設計與開發者能夠強化與重視這七面向上的議題時，系統所帶來的負面影響，才更有機會被控制在利害關係人較能接受的範圍內。反之，系統風險將會增加並且平添不要的問題。讀到這邊，聰明的讀者應該不難發現兩個沒被說清楚的問題： 強化七面向上的要求與議題，具體是哪個面向和哪些議題？ 所有利害關係人能接受的狀態，又是怎樣的狀態? 說到底人人都滿意的方案有正確的解答嗎？而這些解答與滿意是否能持續不變？ 想當然爾，上述的問題很容易會得到「依情境而定」與「權衡」兩個結論。這是因為可信賴性（Trustworthiness）並不只是技術或工程概念，同時也是一種具有社會性的概念（Social Concept）。換言之，答案和期望往往是如同光譜一樣展開，很難有非黑即白的答案。這也正是 AI 應用在帶來益處的同時，所帶來的棘手問題。 此外，除了各面向在不同利害關係人之間的答案有所不同外，面向之間也會產生影響。比方說，為了提升 AI 應用的可解釋性，可能需要保留或利用更多與使用者相關的資訊，但這是否又會侵蝕使用者的隱私權？又或者說，我們為了能夠保障使用的隱私，使得高維空間下資料分布過於稀疏，進而降低模型的準確度。那這樣所產生的結果是否又會影響推論結果的公平性呢？ NIST AI RMF 也明確地指出這樣的權衡並沒有唯一的解，所有參與規劃和設計的利害關係人需要面對的核心議題是「決策情境」和「價值」。簡單說就是在決策前搞清楚應用 AI 的情境和條件，並且確認這些設計與治理上的投入，是否真的能為既定目標帶來足夠的價值。與此同時，適當且充分地揭露這些資訊，以便讓 AI 應用變得可信賴。

延續系列文章的風險與風險管理，目前討論到的都是需要管理的目標和管理時的要點，但說到底誰來管理這些風險？又是誰來為識別與提出這些風險呢？ 因此，在討論完風險後，最重要的是了解在這些管理活動中，到底有哪些角色需要參與，才能讓整個風險管理活動更加周全。從直觀的角度來看，通常會想到組織內人工智慧相關技術的資深工程師，如資料科學家、模型工程師等，又或者是品質系統或治理單位的成員等，但實際當我們在思考人工智慧技術應用到組織內時，這些角色（Actor）應該考量所有會影響 AI 系統如何被設計、建置、部署、使用、評估，或會受到系統影響的人。 NIST AI RMF 認為人工智慧之於組織與人，並不是技術單方面產生影響，而是人與技術之間持續互動，也就是社會技術（Socio-Technical）的視角。因此,想要正確地理解所有利害關係人得先回到該規範第二章中所描繪的 AI 系統的生命週期與關聯面向，如下圖： 此圖1來源自 OECD，並且針對 Test, Evaluation, Verification, and Validation（TEVV）和 AI system 的 operational context 進行了強調與調整。從圖來看，第二圈指出思考模型的四個面向，而最外環則指出 AI 系統生命週期的各階段。不過整張圖的重點在於一件事，也就是 AI 系統的生命週期並不只是在於模型開發。AI 系統的生命週期涵蓋從資料蒐集與處理、模型建立、部署與使用，到營運與監控等活動，並且形成持續迭代的循環。