什么是 AI 治理？

AI 治理是指组织为安全、合规地开发、部署和监控其 AI 系统而采用的一系列策略、流程和控制措施。它明确了谁对 AI 决策负责、如何管理 AI 相关的风险，以及系统如何随着时间的推移保持可审计性。有效的 AI 治理涵盖从数据采集、开发到部署的整个 AI 生命周期。AI 治理不仅适用于传统机器学习模型，也适用于现代的自主 AI 智能体。

为什么 AI 治理很重要？

在缺乏适当监管的情况下部署 AI，可能会使组织面临以下风险：

数据泄露：输入至 AI 工具的敏感或机密数据可能会被保留、泄露或用于训练第三方 AI 模型，从而危及商业机密和客户信息。
存在偏见或有害的输出：基于错误或存在缺陷的数据训练的模型可能会加剧现有偏见，产生可能损害用户并引发法律审查的歧视性结果。
监管处罚：《欧盟 AI 法案》等框架会带来严重后果，而没有书面控制措施的组织则难以证明其合规性。
失去客户信任：仅仅一次备受瞩目的 AI 失败，例如做出有偏见的决策或泄露数据，就可能摧毁多年才建立起来的信任。
身份蔓延：随着 AI 智能体与自动化技术的规模化应用，其创建服务帐户、工作负载身份和其他非人类身份 (NHI) 的速度超出了安全团队的跟踪能力。如果缺乏管控，这种身份蔓延会造成孤立账户和无法追踪的访问路径，攻击者可以利用这些路径进行横向移动并提升权限。

AI 治理的主要目标是帮助组织更快、更自信地采用 AI。有了明确的指导方针、清晰的权责划分和自动化流程，团队便可以专注于创新，而无需反复质疑使用 AI 时哪些行为是安全或被允许的。

AI 治理的核心原则

许多 AI 治理框架都围绕一套共同的原则展开，明确了负责任的 AI 在实践中的具体形式，并为组织提供了衡量其系统的统一标准。

问责制

通过明确界定谁对 AI 系统的决策和结果负责，组织可以追究人类员工的责任。例如，如果 AI 模型影响了招聘决策或标记了某笔交易，则应有指定的所有者或团队能够解释该 AI 系统的运作方式，并在出现问题时进行干预。如果缺乏明确的责任归属，问责制就会分散在各个部门，没有人能够发现或纠正错误。

透明度

AI 驱动的决策应被受影响的人所理解、审计并进行解释。一个治理良好的 AI 系统并非暗箱操作，而是记录其得出结论的过程，并生成可供审计人员和监管机构审查的清晰记录。在医疗保健和金融服务等高风险行业，可解释性尤为重要，因为个人有权了解针对他们做出的决定。

公平性与偏见缓解

组织必须防止 AI 系统歧视特定群体，或延续其训练数据中固有的偏见。由于模型会从过去的数据中学习，如果不加以控制，它们可能会复制甚至放大现有的偏见。治理机制通过多个步骤有针对性地解决此问题：审计训练数据、在不同人口统计群体中测试输出结果，并监控是否存在差异性影响。

安全与隐私

必须保护 AI 模型免受网络攻击，确保敏感训练数据在其整个生命周期内得到妥善处理。从数据投毒到提示注入，AI 系统在处理大量敏感信息的同时，也引入了新的攻击面。强大的治理方案应用零信任安全原则，该原则假定任何用户或系统都不应被默认信任，并且每个访问请求都必须持续验证。结合妥善的数据处理和强加密技术，AI 模型及其所依赖的数据都可以得到保护。

AI 治理示例

AI 治理方式因所涉及的行业和风险级别而有所不同。以下是上述 AI 原则在实际应用中的几个真实案例。

医疗保健数据处理

一家医院部署 AI 模型来帮助确定患者病例的优先级，该模型处理的受保护健康信息 (PHI) 受 HIPAA 等法规管辖。在这种情况下，AI 治理决定了敏感的患者数据在到达模型之前如何进行匿名化处理，以及谁有权访问这些数据。该模型还要求任何 AI 辅助的临床建议在可行的情况下都应具有可解释性，并且始终要经过人工审核，以便临床医生做出最终决定。强大的治理使医疗保健专业人员能够在受益于 AI 的同时，保护患者隐私并满足监管要求。

财务模型风险管理

银行和金融机构利用 AI 模型进行欺诈检测、投资决策以及信用评分。有缺陷的模型可能会造成重大经济损失和违反监管标准的数据泄露。在此背景下，AI 治理侧重于模型风险管理，包括在部署前验证模型，记录其决策过程，并持续监控偏差。治理需要进行公平性测试，并提供详细的审计追踪，以向监管机构准确证明每项决策的制定过程和原因。

AI 智能体执行的企业审批工作流

许多 AI 智能体能够采取自主行动，例如配置云资源或调用 API，因此治理可确保任何智能体都不能在没有监督的情况下运行。典型的 AI 工作流始于观察智能体在受监控环境中的行为。然后，高风险操作会进入审批环节，由指定的审核员批准后，智能体才能继续执行操作。每一项操作、决策和批准都会被详细记录在审计跟踪中，为安全和合规团队提供清晰的依据，明确智能体的具体行为以及授权人的身份。

如何实现 AI 治理

以下是一些最佳实践，可为实施 AI 治理提供良好的开端：

从高风险用例开始，逐步扩展。与其尝试同时治理每一个 AI 系统，不如优先处理具有最大潜在危害的应用程序，包括处理敏感数据或自主运行的应用程序。
将监管与风险级别相匹配。由于并非每个 AI 系统都需要同样的审查，因此应对低影响工具实施简化的审查，对高影响工具进行全面监管，以确保治理能够增强公众信心。
让 AI 治理实现跨职能部门协作。AI 涉及法务、安全、合规和业务团队，没有任何一个部门能够独自对其进行治理。有效的方案能将这些团队整合在一起，从而在做出同一决策时综合考量所有安全风险、业务目标与合规要求。
明确责任归属，避免权责分散。当 AI 系统的责任分散在多个团队时，没有人真正承担责任。为每个 AI 系统指定明确的负责人，使其有权做出决策、批准部署并对结果做出合理说明。
将治理视为一个持续的过程。AI 系统会随时间推移而发生变化，因此必须对上线时确立的治理体系进行重新审视，以便随着技术和合规标准的变化，重新评估风险、针对偏见重新进行测试并更新策略。
构建符合审计要求的文档和监控机制。持续监控 AI 系统中的异常情况、模型漂移和滥用情况，并详细记录决策、审批及系统行为。满足审计要求的文档能够向监管机构证明合规性，调查正在发生的事件，并明确谁授权了哪些操作以及原因。