核心深读WHITEPAPER / FDE
NIST 生成式 AI 风险管理框架画像
Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (NIST AI 600-1)
资料摘要
围绕生成式 AI 的独特风险，把治理、内容来源、信息完整性、信息安全、评测、人机配置和事件管理转成项目控制与验收证据。
适用对象与场景
开发、采购或运营生成式 AI / Agent 系统，需要在 AI RMF 基础上增加生成式 AI 特定风险控制的团队。
原文结构
- 生成式 AI 风险概览
- 风险主题与生命周期
- 建议行动
- 测量、事件与持续改进
核心要点
生成式 AI 风险相互作用
虚构、内容来源、隐私、偏见、安全和人机依赖可能共同影响同一业务结果。
证据定位nist-genai#Risk overview and suggested actions
风险因部署情境而变化
同一模型在内部辅助、公开发布和自动执行中的风险与控制强度不同。
证据定位nist-genai#Risk overview and suggested actions
评测要覆盖对抗与现实任务
基准分数之外还要测试领域失败、提示攻击、工具越权和人工接管。
证据定位nist-genai#Risk overview and suggested actions
内容来源需要贯穿链路
输入、检索、模型输出、编辑、发布和再传播应尽可能保留来源与变更记录。
证据定位nist-genai#Risk overview and suggested actions
事件反馈进入下一版本
用户报告、红队结果和生产异常应改变数据、提示、权限、评测和上线门禁。
证据定位nist-genai#Risk overview and suggested actions
项目行动清单
按具体用途筛选相关生成式 AI 风险并标记风险交互。
应形成证据：GAI 风险登记
建立真实性、安全、对抗、工具和人工接管测试集。
应形成证据：评测数据集与报告
记录训练/检索/输入来源、授权、敏感性和删除路径。
应形成证据：数据与来源台账
设计输出来源、用户提示、编辑和反馈入口。
应形成证据：界面证据与用户研究
把事件、漂移、滥用和重大变更纳入复盘与门禁。
应形成证据：事件记录与回归结果
可追溯来源
- NIST AI 600-1 官方出版页官方原文 · Risk overview and suggested actions打开原文 ↗