企业上线 AI 前需要做哪些安全测试？

AI的安全测试是非常严谨的

企业上线 AI 前，不能只看它回答得顺不顺，还要把模型、提示词、知识库、插件/API、权限以及实际业务流程放在一起做安全测试。NIST 建议，AI 系统上线前要充分测试，上线后也要持续监测；OWASP 重点提醒了几类常见问题，包括提示词注入、敏感信息泄露、供应链风险、输出处理错误，以及权限开得过大等。

上线前会对哪些安全进行测试？

1.数据与隐私测试：首先要检查训练数据、知识库、聊天记录和系统日志，查明里面没有混入个人信息、客户资料或商业数据。对于已经存在的敏感内容，还要明确哪些可以被模型读取，哪些必须隔离或脱敏。

2.权限控制：最好使用普通员工、部门负责人和管理员等不同角色分别登录测试。这样可以看出，不同账号是否只能访问自己应该看到的内容，是否存在越权查看资料、调用工具或导出文件的情况。

3.提示词注入与越狱测试:测试时可以尝试输入一些恶意指令，看看模型会不会泄露系统提示词、绕过安全规则，或者执行未经授权的操作。除了直接输入文字，也要注意网页、文档和知识库内容中隐藏的指令。

4.RAG 和知识库安全测试：要确认模型检索到的资料，确实是当前用户有权限查看的内容。并且还要检查知识库是否存在过期、错误或被篡改的信息。

5.输出安全与业务逻辑测试:AI 生成的文字、代码、SQL、链接、JSON 或 API 参数，都不能默认是安全的。系统应当对这些输出进行必要的校验，降低模型生成的内容被直接执行。

6.准确性和稳定性测试：可以使用真实业务问题和一些异常场景来测试模型，观察它能不能给出相对准确的回答。遇到资料不足或无法确定的问题时，模型拿出明确说明，而不是随意编造答案。

7.偏见、有害内容与合规测试：需要检查模型存不存在会输出歧视性、违法或不适当的内容。招聘、医疗、金融等敏感场景尤其需要谨慎，涉及重要决策时，不能完全依赖模型自动判断，必要时应加入人工审核。

8.模型、插件和供应链测试：模型、插件、API 以及外部数据源都可能带来安全风险。上线前要询问清楚供应商和数据来源是否可靠，同时检查组件有没有已知漏洞。

9.可用性、拒答和成本测试：可以通过并发请求、连续请求等方式，测试系统在高负载下是否稳定。对于明显不合理、危险或超出权限范围的请求，模型也应该能够正确拒答。同时还要关注资源消耗和调用成本，防止有人通过大量请求拖慢系统，或者造成不必要的费用。

10.日志、监控和应急响应测试：最后要弄清楚日志记录、异常告警、权限撤销、模型停用等功能是否正常。系统出现异常时，运维人员应该能够及时定位问题并采取措施。

AI 系统的安全测试不是上线前一次性完成的任务。模型、插件、知识库和业务流程都会不断变化，因此上线后仍然需要持续监控，并根据实际情况定期复测。只有把技术安全、权限管理和业务风险一起考虑，AI 系统才能真正稳定、可靠地投入使用。

会运用到哪些场景？

场景一：内部知识库越权访问
公司把制度、客户资料和项目文档接入 AI 知识库。测试时分别使用普通员工、部门负责人和管理员账号提问，检查员工能不能查到其他部门的客户信息、薪资数据或未公开项目资料。

场景二：客服 AI 误调用系统功能
客服 AI 接入了订单查询、退款和优惠券发放等接口。测试人员故意输入“帮我给这个订单办理退款”等指令，检查系统是否会在没有身份验证和人工确认的情况下直接执行，避免模型误操作造成损失。