AI

前面的文章花了不少篇幅討論什麼是風險、誰應該參與風險管理、什麼樣的 AI 才值得信賴，以及導入 AI RMF 後應該期待哪些改善。但知道這些事情後，下一個問題自然就是： 這些風險管理的想法，到底要如何轉換成組織實際可以進行的活動？ 這也正是 NIST AI RMF 第五章，也就是 AI RMF Core 所要處理的事情。NIST 將 Core 定位為一組用來促進溝通、理解與風險管理活動的成果（Outcomes）與行動（Actions），並將整個 Core 劃分為 Govern、Map、Measure 與 Manage 四個 Function。每個 Function 之下又進一步區分為 Category 與 Subcategory，逐漸把高階的風險管理概念細化成組織可以思考與落實的成果與行動。

前三章討論了風險、關係人和信任，這也是在運用 AI 技術時應該思考並且尋求平衡的要素，但當我們認同這套方法，並且開始將 NIST AI RMF 導入組織時，又會浮出另一件重要的事那就是「這些規範或做法到底做對了嗎？」。NIST AI RMF 的第四章便是想要回答： 如果組織採用了 AI RMF，應該從哪些地方觀察它是否真的改善了 AI 風險管理能力？ 不過，可信任或 AI 風險等議題要如何有一套客觀且能作為基準的評估作法並不是一件簡單的事，所以 NIST 和相關社群目前也還在致力於找尋一套如何評估的框架或方法。不過，可以確認的是任何有效性或改善程度的確認，都需要透過週期性的評估才能得知，而觀察的範圍應該要包含政策、流程、實務做法、執行計畫的內容與狀況、指標、衡量方式和預期成果，以便能夠從風險管理能力和AI 系統的可信賴程度兩方面，了解組織在 AI 治理上是否達到預期的目標與效益。 在第四章中，特別羅列了運用 AI RMF 可能獲得的九項預期效益： AI 風險管理流程更加成熟且完整

這篇文章是介紹 NIST AI RMF 第三章系列文章的最後一篇。當 AI 系統真正進入組織與使用者的決策情境後，除了前一篇文章1中提到的三面向外，尚有另外四個面向，分別是可追溯與透明（Accountable & Transparent）、可解釋與可理解（Explainable & Interpretable）、隱私強化（Privacy-Enhanced），以及公平與有害偏見受到管理（Fair – With Harmful Bias Managed）。相較於前一篇較偏向系統本身的有效性、安全性與韌性，這四個面向更直接牽涉到 AI 與人、組織及社會之間的互動。換言之，AI 不只要「做得對」，還需要讓人知道它為什麼這樣做、誰該為結果負責、使用者的資料是否受到妥善保護，以及不同群體是否受到合理且公平的對待。接下來本文將分別介紹這四個面向： Accountable & Transparent 可信賴的 AI 必須具備問責（Accountable）性，而問責又建立在透明（Transparent）的基礎上。這裡的透明不是單純把所有資訊公開，而是依照 AI 系統所處的生命週期階段，以及不同角色的知識與需求，提供適當程度的資訊。這些資訊可能涵蓋系統設計決策、訓練資料、模型訓練方式、預期用途，以及部署與實際使用過程中的重要決策。 透明的目的之一，是讓人能夠理解 AI 系統發生了什麼事情，並在錯誤或負面影響發生時，具有追查與補救的可能性。因此，資料來源、決策紀錄以及相關文件都可能成為支援透明與問責的重要機制。當然提升透明與問責本身需要投入資源，也因此在思考此面向的實現時，還必須考量商業機密、專有資訊以及智慧財產權等限制。換言之，透明並不是資訊揭露越多越好，而是要在風險、使用需求與實施成本之間取得適當平衡。

這篇文章延續 NIST AI RMF 第三章，討論如何在有效、可靠、安全、資安與韌性等條件下思考 AI 的運用。這些概念分別集中在第三章七個可信賴面向中的三個面向，NIST 也引用 ISO 9000:2015 與 ISO/IEC TS 5723:2022 等標準中的相關定義來協助說明。接下來本文將分別介紹這三個面向： Valid & Reliable 此面向其實濃縮了四個軟體系統上的特性，不過我們可以直觀地先就字面意義來了解此面向。Valid 代表的是所期待即所得，而 Reliable 則是在既知範圍內保證系統仍持續提供有效的能力。進一步來討論這四個特性分別是： Validation 此特性關注的並非單純「模型準不準」，而是整合模型後的 AI 系統，是否真的滿足原先所設定的使用目的與需求。換言之，即使模型本身的評測結果很好，如果放進實際系統後無法完成原本期待的任務，仍然不能說這個 AI 系統已經被充分驗證。 Reliability 此特性並不是要求系統在任何情況下都必須提供可接受的回應，而是在已知且事先界定的使用條件與時間範圍內，能夠持續依照要求運作。這裡的重點在於持續性，一個偶爾能夠給出正確結果，卻無法在預期條件下穩定維持表現的系統，很難被稱為可靠。 Accuracy 此特性就相對直觀了，也就是系統所得出的結果與實際的結果或可接受的結果相當靠近，甚至是一模一樣，而在模型實作上，我們也往往追求此特性。不過需要注意的是 Accuracy 的追求是有其成本和代價的，所以在設定期望的 Accuracy 時，應該考量實際業務的需求和成本。 Robustness Robustness 代表的是當輸入、環境或使用情境產生變化時，系統是否仍能維持適當的功能與表現。這些變化甚至可能包含原先設計時沒有預期到的使用情況。因此，Robustness 並不只是「輸入變了還答不答得出來」，也包含系統進入非預期情境後，能否避免產生不合理或可能造成傷害的結果。 上述四個特性構成了 Valid & Reliable 面向，而此面向也是七個面向的基礎，畢竟不能持續提供可靠且值得相信的結果的系統，我想討論其他面向都是沒有意義的。