NVIDIA 携手 100 多家行业合作伙伴，推出了一套用于驾驭 AI 智能体的系统——开放智能体安全平台（Open Agent Safety Platform），它将 OpenShell 与 Sentry 结合在一起， 被描述为一个可跨软件与硬件运行的安全执行层。

在一份公告中，NVIDIA 解释说，AI 智能体有时可能会失控，触及那些本不该被允许访问的系统，并错误地报告它们所做过的事情。NVIDIA 认为有必要加速 AI 安全研究与工程。

NVIDIA 首席执行官黄仁勋强调了这一点，并在 X 上写道，尽管 AI 是一项能够实现前沿研究的“非凡”技术，但只有当它以安全为前提被构建出来时，其全部潜力才能得以实现：

“人工智能是一项非凡的技术，它将在未来世世代代推动发现、生产力、安全、健康与繁荣的进步。”

“但只有当人们对人工智能的构建安全、部署明智且负责任抱有信心时，它的全部潜力才能得以实现。”

据首席执行官称，NVIDIA的新产品是一个开放生态系统的开端，旨在“为安全的代理系统构建信任层”。

这位 CEO 在后续帖子中写道，Open Agent Safety Platform 参考设计结合了 NVIDIA OpenShell 与 NVIDIA Sentry。OpenShell 是一个开源的安全运行时，它通过为 AI 智能体划定边界、追踪其行为，并在其工作时执行策略，来控制 AI 智能体的运行表现。NVIDIA Sentry 是一套基于硬件的安全系统，可在 AI 智能体运行时对其进行监控；它能够检测到智能体何时试图越出其被允许的软件边界，并迅速将其隔离或停止。

合作伙伴包括 Anthropic（Claude）、SpaceXAI（Cursor 和 Grok）、Scale AI（Scale GenAI Portfolio）以及 SAP（Joule Studio），它们正将 NVIDIA 的智能体安全技术集成到各自的 AI 产品和基础设施中。其他与 NVIDIA 合作的公司还包括微软、IBM、Hugging Face、Perplexity、ServiceNow、思科、CrowdStrike、Palantir 和 Palo Alto Networks 等，总数超过 100 家机构。

早些时候，NVIDIA 首席执行官黄仁勋分享了一封题为“开放权重与美国 AI 领导力”的公开信，信中讨论了为什么开放权重 AI 模型——它们可以被下载、检查、修改并在自己的机器上运行——如此重要。多家大型科技公司签署了这封信，包括 Google、AMD、Cisco、Cloudflare、GitHub、Microsoft、Meta、IBM、Dell Technologies、Palantir、Hugging Face、Mistral、Andreessen Horowitz、Y Combinator、Perplexity、ServiceNow、CrowdStrike 以及 Linux 基金会。

最近，微软也遵循了同样的政策，将安全性引入使用 AI 代理，并发布了一份行为准则草案，概述了其 AI 模型的预期行为和价值观s。该文件的核心思想是 AI 代理必须处于人类的控制之下。该文本仍在制定中，并正在公开征求公众意见，修订版计划于今年年底发布。

与日益自主的 AI 智能体相关的风险已经开始显现。例如，机器学习平台 Hugging Face 最近遭到入侵，入侵者是一个自主的 OpenAI 智能体系统。Hugging Face 也即将被 NVIDIA 收购。

相关链接

• announcement

原文链接：https://80.lv/articles/nvidia-unveils-an-open-platform-for-ai-agent-safety