数字世界的法律边界正以前所未有的速度向AI领域延伸，而每一次技术突破的背后都伴随着监管的迅速回应。
当前，企业将智能客服、知识库问答、销售接待等环节交由大模型处理已成为普遍趋势。这一技术转型带来了效率的显著提升，同时也带来了不可忽视的安全隐患。
输出违规内容和信息泄露已从单纯的技术问题演变为复杂的合规挑战，直接关系到企业的运营连续性和商业声誉。
随着《网络数据安全管理条例》（国令790号）于2025年1月1日正式施行，以及《人工智能生成合成内容标识办法》于2025年9月1日生效，AI服务提供方面临着更加明确和严格的法律责任。
---
01 技术架构风险：从模型泄露到系统入侵
AI服务的安全隐患首先源于其技术架构的固有缺陷。暴露面的广泛暴露、数据跨域链路的延长以及运营压力的持续增加，构成了风险的基础层面。
提示词注入（Prompt Injection）和越狱（Jailbreak）已成为最具威胁的技术威胁向量。恶意人员通过精心构造的输入，可以覆盖系统预设的安全规则，迫使模型泄露敏感信息或生成非法内容。
2025年10月，资深安全研究员Tenable披露了Google Gemini AI助理存在的三个重大安全缺陷，被统称为“Gemini三重奏”（Gemini Trifecta）。
这些安全缺陷使恶意用户能执行间接提示注入威胁，窃取使用者的敏感资料。
云端日志成为入侵跳板，第一个安全缺陷存在于Gemini Cloud Assist中。研究团队发现Gemini不只是摘要元数据，还会直接从原始日志中提取资料。
恶意用户可在日志内容中隐藏恶意指令，当受害者通过GCP日志浏览器查看日志时，Gemini会执行恶意用户的指令并在摘要中呈现威胁讯息及钓鱼链接。
更严重的是，任何未经身份验证的恶意用户都能将恶意内容注入GCP日志，可以针对特定目标发动入侵，也可以采取“喷洒”方式入侵所有GCP对外服务。
同样令人担忧的是，2025年9月，Noma Labs披露了Salesforce Agentforce的“ForcedLeak”链式安全缺陷。
这不是一次性的模型诱导，而是多个环节的“提示注入”串联利用，形成“链式”入侵。
当代理依次调用检索、工具、API、CRM数据时，被污染的上下文像接力棒一样传递，最终让系统在“自认为合理”的情况下读取内部数据、执行动作，并把敏感信息发到外网。
由于每一步看起来都合规，整条链路就绕过了传统的权限与签名校验，被评为9.4分的高危安全缺陷（满分为10分）。
02 模型侵权风险：商业竞争的新战场
AI模型本身正成为不正当竞争的新客体。2025年3月，北京知识产权法院对抖音公司诉亿睿科公司AI模型侵权案作出二审判决，维持了一审原判。
这起全国首例涉及AI模型结构和参数保护的案件，没有从传统知识产权法、商业秘密的保护角度切入，而是首次将AI模型纳入反不正当竞争法保护范畴。
案件细节显示，通过技术比对发现，双方模型结构中的整体网络结构、非相邻子网络之间的连接关系、相互连接的非相邻子网络的结构、卷积层层数、升采样次数位置均一致。
36个卷积层中有33个数据完全一致，相似比例达到91.7%，两者的差异部分对最终成像效果为微小或无影响。
二审法院明确指出，抖音公司为研发变身漫画特效模型投入大量经营资源，模型本身（结构及参数）应当构成受到《反不正当竞争法》保护的竞争利益。
从事人工智能模型研发经营的企业不得未经许可直接使用他人通过数据训练改进而来的模型结构和参数，此为人工智能模型领域公认的商业道德。
此案作为最高人民法院选入2025年人民法院反不正当竞争八起典型案例之一，其指导意义已获得司法系统的普遍认可。
03 合规监管升级：处罚案例频发
随着监管框架的完善，AI服务合规监管已进入严格执法阶段。2025年，网信部门针对AI服务的执法行动呈现出常态化、严厉化的特点。
2025年6月，上海市网信办联合上海市市场监督管理局在“亮剑浦江·2025”个人信息权益保护专项执法行动中，对一批拒不整改的生成式人工智能服务网站予以立案处罚。
部分企业未按法律要求开展安全评估工作、未采取必要的安全措施防范违规信息生成，导致相关生成功能侵犯个人信息权益、产出“开盒”“洗钱”等违法违规内容。
典型案例包括个别企业在未取得被编辑个人同意的情况下，克隆其声纹信息并进行语音合成提供其他用户使用。
还有网站根据输入信息，生成包含公众人物形象的虚假图片；或根据用户要求生成“开盒教程”、“他人隐私信息曝光教程”等违规内容。
同样，2025年9月，浙江某科技公司因运营的App提供AI换脸服务未按规定进行安全评估，被网信部门依法查处，应用程序被下架处置。
该平台提供视频换脸、图片换脸、照片舞动配音等合成服务，但未落实安全评估要求，相关深度合成内容也未做显著标识。
网信部门依据《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等多部规定，责令应用商店立即下架该App，限期整改，并对公司处以顶格罚款。
04 内容标识新规：显式与隐式标识义务
2025年9月1日起施行的《人工智能生成合成内容标识办法》为AI服务提供了明确的内容标识指引。
该办法明确，人工智能生成合成内容标识主要包括显式标识和隐式标识两种形式。
显式标识是指在生成合成内容或者交互场景界面中添加的，以文字、声音、图形等方式呈现并可以被用户明显感知到的标识。
隐式标识是指采取技术措施在生成合成内容文件数据中添加的，不易被用户明显感知到的标识。
服务提供者提供的生成合成服务属于《互联网信息服务深度合成管理规定》第十七条第一款情形的，应当按照要求对生成合成内容添加显式标识。
例如，在文本的起始、末尾或者中间适当位置添加文字提示或者通用符号提示等标识；在图片的适当位置添加显著的提示标识；在视频起始画面和视频播放周边的适当位置添加显著的提示标识。
服务提供者还应当按照《互联网信息服务深度合成管理规定》第十六条的规定，在生成合成内容的文件元数据中添加隐式标识。
隐式标识应包含生成合成内容属性信息、服务提供者名称或编码、内容编号等制作要素信息。
05 防护措施升级：从传统安全到AI安全
面对日益复杂的AI安全威胁，单一的防护层已证明不足以应对复杂的注入型威胁。多级拦截机制成为更为可靠的选择。
Tenable建议资安团队采取以下防护措施：假设恶意用户控制的内容会间接进入AI系统；实施分层防御机制，包括输入清理、情境验证以及严格监控工具执行。
定期对启用AI功能的平台进行安全攻防测试，检视提示注入的抵御能力；获取所有AI工具的可视性；定期稽核日志和搜索历史是否遭到操纵。
监控异常的对外请求，这可能代表数据外泄迹象。
在混合云环境方面，2025年10月，红帽OpenShift AI服务中发现一个严重安全缺陷（CVE-2025-10725），CVSS评分为9.9分（满分10分）。
拥有认证账户访问权限的低权限恶意用户（例如使用标准Jupyter笔记本的数据科学家）可将其权限提升至完整的集群管理员。
红帽建议用户避免向系统级群组授予广泛权限，并特别指出“应移除将kueue-batch-user-role与system:authenticated群组关联的ClusterRoleBinding”。
企业应根据最小权限原则，按需向特定用户或群组更精细地授予创建作业的权限。
06 合规路径规划：从被动应对到主动治理
有效的AI服务治理需要实现技术措施与法律遵从的有机统一。企业不仅需要关注“What”（需要实现什么安全目标），更需要理解“Why”（法律要求背后的原理）和“How”（如何技术实现）。
《网络数据安全管理条例》规定的安全评估与日志留存义务，技术上可以通过建立完整的审计追踪系统来实现。而《人工智能生成合成内容标识办法》的要求，则需要从内容生成的技术层面嵌入标识能力，而非事后添加。
企业应建立全生命周期风险管理体系，覆盖从设计、开发、部署到运营的全生命周期。在设计阶段即考虑安全性和合规性，往往比事后修补更加经济有效。
具体而言，包括：需求分析阶段明确合规要求，系统设计阶段内置安全控制，测试阶段包括越狱和注入测试，部署阶段配置适当的监控措施，运营阶段持续更新防护策略以应对新出现的攻防手法。
对于深度合成服务，企业必须严格落实安全评估制度。提供具有舆论属性或社会动员能力的互联网信息服务。
应当按照《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》进行安全评估，并在上线前30个工作日内通过网信部门的安全评估。
---
企业合规路径必须在技术措施与法律遵从之间找到平衡点。浙江某科技公司因AI换脸App未进行安全评估而被下架处置，上海市网信办对一批拒不整改的生成式人工智能服务网站立案处罚——这些案例表明，监管利剑已然落下。
随着2025年9月1日《人工智能生成合成内容标识办法》的正式施行，AI服务的合规边界愈加清晰。只有将安全与合规融入AI系统全生命周期的企业，才能在智能时代行稳致远。
原文首发地址和AI安全护栏体验
