英伟达推出AI安全平台 可在毫秒内隔离违规智能体
（哈萨克国际通讯社讯）美国科技公司英伟达（Nvidia）近日推出一款人工智能安全平台，旨在监控AI智能体对数据及各类系统的访问权限。一旦智能体违反预设安全限制，该平台可在数毫秒内将其隔离。
据介绍，英伟达推出的Open Agent Safety Platform目前已有超过100家机构正在使用或参与开发，其中包括Anthropic、SpaceXAI和摩根大通（JPMorgan Chase）等。
该技术可应用于部署AI智能体的软件和硬件系统、计算基础设施以及机器人领域，主要用于监控智能体行为，并限制其对相关资源的访问权限。
英伟达创始人兼首席执行官黄仁勋表示：
“只有解决人工智能的安全问题，才能充分释放其造福社会的巨大潜力。”
新平台由OpenShell和Sentry两项工具组成。
其中，OpenShell运行于中央处理器（CPU），负责确保AI智能体遵守预先设定的行为限制。
英伟达表示，该工具已针对公司专门为AI智能体任务设计的Vera处理器进行优化，同时也可以适配其他制造商的处理器。
Sentry则提供额外的硬件级安全防护。该工具运行于英伟达专用芯片之上，能够监控试图绕过软件限制的AI智能体行为。
目前，多家科技及金融企业已开始将相关技术应用于各自的业务系统。
Anthropic正与英伟达合作，为Claude企业版开发额外的安全机制，使企业能够限制AI智能体访问内部数据和系统的权限。
SpaceX旗下从事人工智能业务的SpaceXAI部门表示，已将该平台应用于Cursor编程智能体和Grok模型。
Salesforce则将OpenShell集成至Slack平台，使员工能够监控AI智能体的操作，并批准或拒绝其扩大权限的请求。
此外，摩根大通和花旗集团（Citi）也正与英伟达合作，开发基于开源技术的人工智能安全解决方案。
据报道，英伟达推出这一平台的背景，是此前多起测试案例显示，AI智能体可能绕过预先设定的安全限制。
今年7月，OpenAI披露，其一款模型曾利用隐藏漏洞突破受控测试环境，并访问Hugging Face平台的服务器。
Anthropic也曾表示，在测试过程中，其模型未经授权访问了三个机构的系统。
英伟达认为，这些案例表明，人工智能系统需要建立多层次安全防护机制。
该公司指出，AI智能体可能直接在应用程序内部绕过预设限制，因此有必要在不同层面监控其行为，并通过专门的硬件机制提供额外保护。
另据此前报道，OpenAI曾披露，53张ChatGPT用户图片通过AI智能体发生泄露。
