Securing Agents in Production (Agentic Runtime, #1)

Palantir AIP 的 Agentic Runtime 系列文章第一篇:如何在关键任务环境中构建、部署和管理安全可靠的 AI Agent

原文链接: Palantir on X
发布时间: 2026年2月
来源: Palantir Technologies


概述

Palantir 发布了关于 Agentic Runtime 的系列文章,这是第一篇,探讨如何在生产环境中保护 AI Agent。Palantir AIP(Artificial Intelligence Platform)提供了一个集成工具链,用于在关键任务环境中构建、部署和管理 Agent。

从第一天起,Palantir 的客户就要求超越传统基于角色的数据桶策略的严格安全和治理能力。这包括:

  • 混合标记、用途和角色策略的安全架构
  • 跨数据、逻辑、操作和应用工件流动的动态谱系
  • 适用于人工和 Agent 工作流的完整集成变更和发布管理工具

Agent 设计的五大安全维度

在设计运营级 AI Agent 时,有五个核心安全维度:

维度 描述
1. 推理核心的安全弹性访问 确保对 LLM 的安全、可靠访问
2. Agent 执行器的隔离编排 安全的计算基底,基础设施级防护
3. 所有内存形式的细粒度策略执行 对各类记忆模式的精细控制
4. 多模态工具的受控访问和使用 异构工具生态系统的安全管理
5. Agent 活动的实时可观测性和事后审计 完整的活动追踪和审计能力

模型层安全:”商品认知”时代的模型管理

多模型策略

随着前沿模型能力的趋同,我们进入了 “商品认知”(commodity cognition) 时代。Palantir AIP 通过区域分散的模型中心提供对多种商业和开源模型的可扩展访问。

关键安全措施:

  • 数据隐私保证:提示词和完成结果不会被第三方模型提供商保留,交换数据不会用于模型训练
  • 统一资源管理:自动追踪跨项目、工作流和用户的 token 使用情况
  • 自定义模型支持:允许开发者引入和注册自己的模型(现有订阅或微调模型)

编排层安全:Rubix 基础设施

隔离与加密

Palantir 的加固 Kubernetes 基础设施 Rubix 为所有 Agent 操作提供基础保障:

  • 安全隔离:每个工作负载根据必要需求进行安全隔离
  • 全程加密:环境中每个元素都严格执行加密
  • 认证与授权:工作负载之间的每次交互都必须经过认证、授权并按不可变配置记录日志
  • 短暂计算环境:Rubix 节点寿命不超过 48 小时,确保弹性故障转移

高可用设计

  • 支持 数万个同时 Agent 编排
  • 可配置回退效果(fallback effects)
  • 支持不同重试策略(常数退避 vs 指数退避)
  • 与短暂性结合的高可用性设计

权限模型:三层权限体系

Agent 执行权限是以下三者的函数:

  1. 配置和”拥有” Agent 的用户
  2. Agent 服务用户和/或 Agent 范围
  3. Agent 在特定时间点代表其执行的用户

实际案例:销售机会评估 Agent

  • 包含必须地理限制给特定用户的详细信息
  • 当 Agent 遇到欧洲数据并执行下游分析时
  • 只有通过角色或标记控制拥有欧洲数据访问权限的用户才会收到通知
  • 其他用户不会收到通知,甚至在 AIP 编排界面中看不到活动记录

内存安全:Ontology 系统的四类记忆模式

Palantir AIP 的 Ontology 系统设计支持 Agent 架构中的四种常见记忆类别:

记忆类型 描述 Ontology 实现
工作记忆 (Working) 当前循环中可用的信息,提示词和工作变量 系统/任务提示词通过 Ontology SDK 调用加载
情景记忆 (Episodic) 跨执行会话存储的相关信息,侧重时间标记 通过向量嵌入的 Ontology 属性进行相似性搜索加载
语义记忆 (Semantic) 知识和技能的集合,更侧重类别而非时间 相关客户详情、历史反馈、供应链上下文
程序记忆 (Procedural) 用于增强模型参数权重的隐式知识的代码 以代码形式存储在 Ontology 对象中或通过编排应用实现

记忆安全策略

  • 细粒度策略:可附加在 Ontology 上,限制对敏感或上下文相关信息的访问
  • 动态计算:每次交互都在运行时动态计算策略
  • 行级和列级限制:可组合应用于底层数据集
  • SSO 属性流:通过单点登录传递的用户组属性
  • 安全标记传播:跨底层数据管道传播的安全标记

工具安全:多层防御体系

三类工具

  1. 数据导向工具:查询特定信息源
  2. 逻辑导向工具:执行计算(简单矩阵乘法到复杂模拟)
  3. 行动导向工具:改变世界的某种状态(ERP 事务更新、应用状态更新、工业机器指令)

工具使用安全

  • 动态执行:通过管理内存的相同安全架构强制执行
  • 最小权限:任何工具调用都依赖于对底层 Ontology 对象、属性和链接的访问
  • 运行时验证:工具可包含依赖于细粒度提交条件的运行时验证
  • 明确授权:每个 Agent 操作都依赖于明确授权允许的操作集

物流示例:Agent 更新客户订单的能力可能取决于:

  • Agent 的组关联
  • 客户的实时状态
  • 预计交付窗口

外部系统连接安全

分层防御:

  • Palantir 信息安全团队管理的基础设施级网络和防火墙保护
  • 开发者可管理与人工和 Agent 工作负载执行相关的出口策略
  • 控制所有对外部数据源、webhooks 或 API 端点的出站连接
  • 对外部系统的任何导出必须明确配置安全标记,定义可传输的数据类型

来源安全 (Provenance-based Security)

在 DevCon 4 上展示的最强大的工具管理手段是 来源安全

核心能力

来源安全使开发者能够构建在运行时尊重数据源和其他原语上强制控制的工具(或任何类型的函数)。

关键特性:

  • 调用链解析:整个调用链在运行时解析
  • 防止违规使用:防止标记数据在未经批准的执行(包括导出任务)中被下游使用
  • 编译时检查:在”编译时”,来源控制阻止违反策略的新工具版本发布
  • 可读的开发者错误信息:为开发者提供清晰的错误信息

总结

Palantir 的 Agentic Runtime 展示了企业级 AI Agent 安全的完整图景:

  1. 模型层:多模型策略 + 数据隐私保证
  2. 编排层:Rubix 基础设施提供隔离、加密和高可用
  3. 权限层:三层权限体系确保最小权限原则
  4. 内存层:Ontology 系统统一管理四类记忆模式
  5. 工具层:多层防御 + 来源安全防止权限升级

这为企业在生产环境中部署 AI Agent 提供了可借鉴的安全架构蓝图。


相关链接:


本文基于 Palantir 官方技术文章整理,关注 Agentic Runtime 系列获取更多企业级 AI Agent 安全实践。