這篇文章延續 NIST AI RMF 第三章，討論如何在有效、可靠、安全、資安與韌性等條件下思考 AI 的運用。這些概念分別集中在第三章七個可信賴面向中的三個面向，NIST 也引用 ISO 9000:2015 與 ISO/IEC TS 5723:2022 等標準中的相關定義來協助說明。接下來本文將分別介紹這三個面向：

Valid & Reliable

此面向其實濃縮了四個軟體系統上的特性，不過我們可以直觀地先就字面意義來了解此面向。Valid 代表的是所期待即所得，而 Reliable 則是在既知範圍內保證系統仍持續提供有效的能力。進一步來討論這四個特性分別是：

  1. Validation
    此特性關注的並非單純「模型準不準」，而是整合模型後的 AI 系統，是否真的滿足原先所設定的使用目的與需求。換言之，即使模型本身的評測結果很好，如果放進實際系統後無法完成原本期待的任務，仍然不能說這個 AI 系統已經被充分驗證。
  2. Reliability
    此特性並不是要求系統在任何情況下都必須提供可接受的回應，而是在已知且事先界定的使用條件與時間範圍內，能夠持續依照要求運作。這裡的重點在於持續性，一個偶爾能夠給出正確結果，卻無法在預期條件下穩定維持表現的系統，很難被稱為可靠。
  3. Accuracy
    此特性就相對直觀了，也就是系統所得出的結果與實際的結果或可接受的結果相當靠近，甚至是一模一樣，而在模型實作上，我們也往往追求此特性。不過需要注意的是 Accuracy 的追求是有其成本和代價的，所以在設定期望的 Accuracy 時，應該考量實際業務的需求和成本。
  4. Robustness
    Robustness 代表的是當輸入、環境或使用情境產生變化時，系統是否仍能維持適當的功能與表現。這些變化甚至可能包含原先設計時沒有預期到的使用情況。因此，Robustness 並不只是「輸入變了還答不答得出來」，也包含系統進入非預期情境後，能否避免產生不合理或可能造成傷害的結果。

上述四個特性構成了 Valid & Reliable 面向，而此面向也是七個面向的基礎，畢竟不能持續提供可靠且值得相信的結果的系統，我想討論其他面向都是沒有意義的。

Safe

此面向當我們說一個 AI 系統是安全的，重點並不只是它「平常能不能正常運作」，而是當系統被使用、被誤用，甚至在某些失效情況下，是否仍能避免對人的生命、健康、財產或環境造成不可接受的傷害。這也是為什麼 Safe 不能只用模型準確率來判斷。即使一個模型有很高的準確率，只要它在少數情境下的錯誤可能造成嚴重後果，安全風險依然不能被忽略。比方說，一個醫療 AI 平常大多能給出正確建議，但若在特定病況下偶爾提供錯誤判斷，而這個錯誤又可能影響治療決策，那麼即使整體表現很好，也不能直接說它是安全的。 因此，安全更關心的是「錯了之後會發生什麼事」，以及系統是否已經具備足夠的防護、限制與補救機制。這可能包含失效保護、人工介入、使用邊界、異常偵測、回復機制，以及針對合理可預見誤用情境所做的設計。換句話說，Safe 關注的不是 AI 系統會不會犯錯，而是即使系統犯錯、被誤用或遭遇異常時，是否仍能把傷害控制在可接受的範圍內。為了能夠滿足上述的期望，此面向相當強調即早地進行考量，也就是說此面向其實也是整個開發生命週期需要考量的議題，而非某一階段的特定議題的討論。

Secure & Resilient

從中文翻譯來看，Secure 和前面的 Safe 都很容易被翻成「安全」，但兩者關注的其實是不同問題。Safe 主要關心 AI 系統是否會造成傷害，而 Secure 則偏向資安層面的保護，包含對抗性範例（Adversarial Examples）、資料投毒（Data Poisoning），以及模型、訓練資料或其他智慧財產遭到竊取等問題。當 AI 系統能透過適當的保護機制防止未授權存取與使用，並維持機密性、完整性與可用性時，才可以說具備一定程度的 Secure。 Resilient 則關注系統遭遇非預期事件或環境、使用方式發生變化後，是否仍能維持必要功能，或者在無法維持原有效能時安全且漸進地降級，並且在事件發生後恢復正常運作。因此，Security 與 Resilience 雖然彼此相關，卻不是相同的概念：前者更著重如何避免、抵禦、回應與復原於攻擊，後者則涵蓋更廣泛的非預期事件與變化。

讀者看到這裡，或許會發現 Robustness 和 Resilience 都在討論「系統遇到變化後還能不能正常運作」，但兩者觀察的角度仍有所不同。Robustness 比較著重系統在不同條件與情境下，能否維持適當的功能與效能；Resilience 則更進一步關注遭遇非預期的不利事件或變化後，系統是否能夠承受影響、安全降級，並最終恢復必要功能。為了讓兩者的差異更容易理解，可以透過下圖進一步比較。

從上述三個面向可以看出，一個值得信賴的 AI 系統，顯然不能只看模型在評測時的表現有多好。它除了需要在預期的使用情境下持續提供有效且可靠的結果，也必須避免因為錯誤或失效造成不可接受的傷害，並且在遭遇攻擊、異常或環境變化時，仍具有足夠的保護與恢復能力。 這也再次呼應前一篇文章所提到的觀念：AI 的可信賴性是一個系統層級，而不是單純模型層級的問題。模型的 Accuracy 再高，也無法單獨證明整個 AI 應用就是可信的。 不過，能夠可靠、安全且具備資安與韌性，仍然只是可信賴 AI 的一部分。當 AI 真正進入人的工作與生活後，我們還得進一步思考：誰需要為它的行為負責？使用者是否理解它為什麼做出這樣的結果？我們又該如何面對隱私以及不同群體之間的公平問題？這些也就是下一篇文章要繼續討論的可信賴面向。

1. Figure 4, ch03, NIST AI RMF, https://airc.nist.gov/airmf-resources/airmf/3-sec-characteristics/


如果你也正在思考如何在組織內的資訊系統與流程內追尋持續改善，那麼 CPHT 的豐富經驗和能力將會是你最好的選擇！ 👉 了解更多: https://www.cpht.pro