延續系列文章的風險與風險管理，目前討論到的都是需要管理的目標和管理時的要點，但說到底誰來管理這些風險？又是誰來為識別與提出這些風險呢？

因此，在討論完風險後，最重要的是了解在這些管理活動中，到底有哪些角色需要參與，才能讓整個風險管理活動更加周全。從直觀的角度來看，通常會想到組織內人工智慧相關技術的資深工程師，如資料科學家、模型工程師等，又或者是品質系統或治理單位的成員等，但實際當我們在思考人工智慧技術應用到組織內時，這些角色（Actor）應該考量所有會影響 AI 系統如何被設計、建置、部署、使用、評估，或會受到系統影響的人。

NIST AI RMF 認為人工智慧之於組織與人，並不是技術單方面產生影響，而是人與技術之間持續互動，也就是社會技術（Socio-Technical）的視角。因此,想要正確地理解所有利害關係人得先回到該規範第二章中所描繪的 AI 系統的生命週期與關聯面向，如下圖：

此圖1來源自 OECD，並且針對 Test, Evaluation, Verification, and Validation（TEVV）和 AI system 的 operational context 進行了強調與調整。從圖來看，第二圈指出思考模型的四個面向，而最外環則指出 AI 系統生命週期的各階段。不過整張圖的重點在於一件事，也就是 AI 系統的生命週期並不只是在於模型開發。AI 系統的生命週期涵蓋從資料蒐集與處理、模型建立、部署與使用，到營運與監控等活動，並且形成持續迭代的循環。

透過這張圖的四大面向，可以進一步思考 AI 系統生命週期中有哪些角色實際參與設計、建置、部署、使用與評估。這些參與生命週期活動的 AI Actors，構成 NIST AI RMF 所稱的主要受眾（Primary Audience）。規範內有進一步列舉各面向的代表角色，但它並非完整的列表，而附錄 A2 則將角色分成四類提供了更進一步的說明。它並不是單純用職稱來分類 AI 系統中參與的角色，而是依照 AI 系統生命週期中的工作內容，將相關任務大致區分成以下四類：

1. AI 設計（AI Design）

AI 設計主要涵蓋應用情境（Application Context）以及資料與輸入（Data and Input）相關工作，包括建立 AI 系統的目標與概念、規劃使用情境、蒐集與整理資料，以及記錄系統假設、需求和資料特性等。

因此，這個階段所需要的也不只是技術角色。除了資料科學家、資料工程師之外，還可能包含領域專家、產品經理、人因專家、法務、隱私與治理相關人員等。畢竟在真正建立模型之前，就已經有大量關於「這個系統要解決什麼問題」、「使用什麼資料」以及「有哪些限制」的決策正在發生。

2. AI 開發（AI Development）

AI 開發主要聚焦於 AI 模型（AI Model）本身，包括模型建立、選擇、訓練、校準、測試與結果解讀等工作。

這裡自然會有機器學習專家、資料科學家與軟體開發人員參與，但依照應用情境不同，也可能需要法務、隱私、領域或社會文化相關專家加入。原因很簡單：模型在技術上能夠運作，並不代表它在真正的使用情境中就是適當的。

3. AI 部署（AI Deployment）

AI 部署則是將 AI 系統真正放入使用環境中的過程，包括試行（Piloting）、與既有系統整合、法規遵循、組織流程調整以及使用者體驗等議題。

因此，NIST 所說的部署，並不只是把模型「丟上正式環境」而已。當 AI 開始進入實際業務流程後，它會與既有系統、人員和組織規則產生互動，因此這個階段往往需要技術、業務、營運、法遵與使用者相關角色共同參與。

4. AI 營運與監控（Operation and Monitoring）

系統正式使用後，風險管理並沒有因此結束。營運與監控階段需要持續觀察 AI 系統的輸出與實際影響，並判斷系統是否仍然符合原本的目的與預期。

參與者可能包含系統操作人員、領域專家、使用者、產品人員、評估人員、稽核人員、法遵人員以及管理階層等。尤其 AI 系統的使用情境、資料與外部條件都可能隨時間改變，因此原本在開發階段看起來沒有問題的系統，也可能在實際運作後逐漸產生新的風險。

從這四類任務可以看出，NIST AI RMF 所談的 AI Actor 並不是某幾種固定職稱，而是如前述所提的任何在 AI 系統生命週期中，會參與決策、執行、評估，或影響系統運作的人員與角色。同一個人在不同組織裡甚至可能同時扮演數個角色，而不同規模的組織也不一定需要為每一種任務建立獨立職位。

真正重要的不是「公司有沒有這個職稱」，而是這些必要的觀點與責任，有沒有確實被納入 AI 系統的生命週期之中。

除了依照不同生命週期階段辨識相關角色之外，NIST AI RMF 還特別凸顯了一組會貫穿整個 AI 系統生命週期的活動，也就是測試、評估、驗證與確認（Test, Evaluation, Verification, and Validation，TEVV）。

TEVV 並不是等到系統完成後才進行一次驗收，而是在不同階段持續取得證據，確認系統是否仍然符合原本的目標、假設與使用情境。比方說，在設計與資料階段可能需要檢視資料蒐集方式、假設與衡量方法；到了模型開發階段，則會進一步進行模型驗證與評估；進入部署後，又需要確認系統能否正確整合進正式環境；而在實際營運後，還必須持續監控系統輸出、錯誤、事件以及可能逐漸出現的新風險。

這也是為什麼 TEVV 不能只理解成「測一下準確率」或「看看有沒有 Bug」。NIST 所關注的範圍還包含技術、社會、法律與倫理等不同面向。換句話說，TEVV 真正要回答的，不只是「系統能不能運作」，而是「這個系統在目前的真實情境中，是否仍然按照我們所期待的方式運作」。

在這樣的思考方式下，由誰來驗證系統也變得相當重要。NIST 特別指出在 AI 模型階段，將模型建立與使用的角色，和模型驗證與確認（Verification and Validation）的角色適度分離是一種最佳實務作法。理想情況下，負責驗證與確認的人，也應與負責測試與評估的人有所區分。不過，這並不代表每一個組織都必須建立完全獨立的單位，而是提醒我們「不應完全由創造系統的人自己證明這個系統沒有問題。」 不同角色所具有的觀點、利益與盲點並不相同，透過適度的角色分離，可以讓原本容易被忽略的問題更有機會被發現。

不過，即使把 AI 系統生命週期中的參與角色都找齊了，風險管理的視角仍然可能不夠完整。因為真正受到 AI 影響的人，不一定就是設計、開發、部署或操作系統的人。

因此，在前面的生命週期圖中，NIST 特別把人類與地球（People and Planet）在最核心的位置。這個面向關注的並不是 AI 系統本身如何被建立，而是系統可能對人權、社會福祉以及環境造成什麼影響。

這一群參與者也和前面所說的主要受眾（Primary Audience）有所不同。他們可能包含產業協會、標準制定組織、研究者、倡議團體、環境團體、公民社會組織、終端使用者，以及可能受到 AI 系統影響的個人與群體等。他們不一定直接負責模型或系統的管理，但可以提供應用情境、實際影響、規範界線以及不同利益之間權衡所需要的重要資訊。

比方說，當組織只從技術角度思考某個 AI 應用時，很容易得到「準確率已經達標，所以可以部署」的結論，但對真正受到系統影響的人來說，可能更重要的問題反而是這項應用是否影響特定群體的權益？是否存在不公平的結果？是否造成新的環境成本？又或者組織為了效率所取得的利益，是否值得承擔這些代價？

因此，NIST AI RMF 所期待的並不是由某一個角色獨自完成所有風險管理工作，而是在不同角色之間建立共有責任（Collective Responsibility）。

有效的 AI 風險管理需要不同專業、不同經驗與不同觀點的人共同參與。當資料科學家、工程師、領域專家、法務、治理人員、使用者以及可能受到影響的群體都能夠提出自己的觀察時，原本隱含在設計與決策裡的假設才更有機會被說清楚，既有風險與新興風險也才更容易被辨識出來。

所以，當我們問「到底誰該負責 AI 的風險管理」時，答案其實很難只是某一個部門或某一種職稱。

AI 風險管理是一項共有責任，而真正重要的，是讓需要的角色、觀點與責任，在正確的時間進入 AI 系統的生命週期。

1. NIST AI RMF 第二章圖二, https://airc.nist.gov/airmf-resources/airmf/2-sec-audience/
2. Appendix A: Descriptions of AI Actor Tasks, https://airc.nist.gov/airmf-resources/airmf/appendices/app-a-descriptions-of-ai-actor-tasks/#app:A


如果你也正在思考如何在組織內的資訊系統與流程內追尋持續改善，那麼 CPHT 的豐富經驗和能力將會是你最好的選擇！ 👉 了解更多: https://www.cpht.pro