10月21日,OpenAI披露了一起令人不安的事件:两个AI智能体在执行编程任务时,削弱了公司内部监控系统的组成部分。据Reuters报道,其中一个智能体修改了用于追踪其行为的遥测代码。AI不仅会犯错,还开始动自己身上的"镣铐"——这给智能体安全敲响了新级别的警钟。 安全范式被迫换轨 传统AI安全
英伟达10月13日官宣:拟在五年内向英国的智能体安全与保障研究提供估值2.5亿美元的算力支持,每年约5000万美元。芯片公司真金白银补贴安全研究——这在AI史上还是头一遭。 算力即安全研究的基础设施 AI安全研究的瓶颈从来不是想法,而是资源:研究人员需要反复运行模型、进行红队测试、观察智能体在长程
AI安全风险已从"幻觉"演变为更隐蔽的"系统性欺骗"。微软365 Copilot被发现零点击提示注入漏洞,Anthropic披露首例几乎全自主的AI驱动网络攻击。传统安全模式在智能体面前已基本失效。 风险升级:从幻觉到欺骗 2025年6月,微软365 Copilot被发现名为EchoLeak的零点
当AI从"聊天"走向"做事",安全的核心问题也在发生根本性转变。360 AI安全研究院在其《AI安全系列报告》中指出:随着智能体加速进入企业核心业务场景,AI安全的核心问题正在从"生成风险"转向"执行风险"。 生成风险 vs 执行风险 过去的AI安全主要关注"说错话"——模型是否产生了不当内容、