AI 安全与合规

AI Agent 应用的安全问题，不只是模型会不会说错话。更大的风险是它会接触用户数据、企业知识、工具接口和业务动作。

如果系统没有边界，模型越强，风险越大。

主要风险有哪些

常见风险包括：

• 用户输入包含敏感信息。
• RAG 检索到无权限文档。
• 外部文档包含 Prompt Injection。
• 工具调用越权或误操作。
• 日志保存了不该保存的原文。

这些问题靠一句系统提示词解决不了。

权限要落在哪里

权限必须落在服务端和检索过滤里。模型可以参与判断意图，但不能决定用户是否有权访问资源。

RAG 场景尤其要注意：不是先召回再过滤，而是检索时就要带权限条件。

日志和脱敏怎么处理

日志要能排查问题，但不能无限保存敏感内容。常见做法是：

• 保存必要字段。
• 对敏感内容脱敏或截断。
• 高风险内容按策略采样。
• 明确日志保留时间。

安全不是不记录，而是有边界地记录。

一句话先记住

AI 安全的核心不是让模型承诺守规矩，而是让系统边界真实生效。

继续阅读

• 06-agent/006-agent-safety.md
• 09-ai-agent-engineering/002-ai-call-log.md