当AI从”聊天”走向”做事”，安全的核心问题也在发生根本性转变。360 AI安全研究院在其《AI安全系列报告》中指出：随着智能体加速进入企业核心业务场景，AI安全的核心问题正在从”生成风险”转向”执行风险”。
生成风险 vs 执行风险
过去的AI安全主要关注”说错话”——模型是否产生了不当内容、是否有偏见、是否泄露了隐私。但当AI智能体开始操作数据库、调用API、执行代码、控制系统时，安全问题变成了”做错事”——一个错误的指令可能导致系统瘫痪、数据泄露甚至物理世界的损害。
智能体安全的三大挑战
第一个挑战是权限失控。智能体在执行任务时需要调用各种系统和数据，如何确保它只访问被授权的资源？如何防止”越狱”攻击利用智能体绕过安全限制？OpenAI把审批定义为工具调用级的人类复核路径；Anthropic把凭据移出沙箱，改由保管库/代理模式处理。最小权限、默认拒绝、显式审批正在变成主流设计前提。
第二个挑战是执行可靠性。AI智能体的成功率还不是100%。一个会失败、产生幻觉或行为不可预测的智能体，会立即造成运营问题。这推动了智能体监控工具市场的快速发展，企业需要量化AI智能体投资回报率，确保人机协作劳动力的生产力。
第三个挑战是跨系统安全。当智能体跨越多个系统执行任务时，安全边界变得模糊。国家网信办等部门联合印发的《智能体规范应用与创新发展实施意见》提出了全链条安全要求，对关键领域和脆弱群体实施重点保护。
构建AI安全防御体系
专家建议从三个层面构建AI安全体系：技术层面部署数据脱敏、访问控制、审计追溯等基础安全措施；治理层面建立AI伦理规范和风险监测评估机制；组织层面培养安全意识和应急响应能力。
AI安全不是阻碍创新的枷锁，而是让AI真正规模化落地的基石。只有当安全防护跟上了智能体的步伐，AI才能从试点走向全场景覆盖。