2026年7月，旧金山市检察长（City Attorney）David Chiu向苹果和谷歌发出停止侵害函，要求两家公司从应用商店移除13款可生成非自愿色情深度伪造内容的“脱衣”应用。其中，苹果涉及8款，谷歌涉及5款。谷歌称已暂停被点名的应用，苹果截至相关报道发布时尚未回应。
这封函件不是法院判决，也不等于已经生效的全面禁令。它真正推到台前的问题是：苹果和谷歌既控制应用上架，又从交易中收费，还能否长期以审核滞后或开发者违规为由，与违法AI内容工具切割责任？旧金山方面把商业收益写进法律主张，意味着平台接下来面对的可能不只是“删不删应用”，还有“是否因分发和抽成承担责任”。
旧金山要求移除13款应用，平台分发责任成为争议核心
旧金山市检察长办公室认为，这些应用可被用于制作未经当事人同意的色情深度伪造内容，主要受害者是女性和未成年人。检方援引的法律逻辑是，加州法律禁止为深度伪造色情内容提供支持服务，而应用商店提供了审核、分发、支付和触达用户的完整渠道。
旧金山方面估算，苹果和谷歌可能已经从相关应用获得数百万美元费用。这个数字目前只是检察长办公室的估算，并非经审计确认的收入；13款应用的名称、具体流水和收费结构也没有公开。外界暂时无法判断，这些费用来自下载、订阅还是应用内购买。
即便如此，“平台从中收费”仍是这封函件最有分量的部分。过去，应用商店处理恶意软件、色情内容或诈骗产品时，常把问题归结为开发者绕过审核，平台发现后再下架。生成式AI改变了这一辩解的边界：如果一款产品的主要卖点、宣传素材或实际输出持续指向非自愿裸露内容，平台就很难把自己描述成被动的软件下载渠道。
所谓“不知者不罪”，放到持续审核并参与收费的平台生意里，越来越难成立。
目前两家公司的动作并不相同：
| 平台 | 被要求移除的应用 | 已知回应 | 仍待确认的问题 |
|---|---|---|---|
| 苹果App Store | 8款 | 尚未公开回应 | 是否下架、是否退款，以及是否追查开发者关联账户 |
| Google Play | 5款 | 谷歌称已暂停相关应用 | “暂停”是否转为永久移除，类似产品是否会被扩大排查 |
停止侵害函通常是执法或诉讼前的正式交涉手段，不代表旧金山已经对两家公司完成处罚。现有信息也没有披露明确整改期限。后续如果进入诉讼，争议将集中在平台是否知情、是否获利，以及其审核措施是否足以履行法律义务。
换脸应用成为伪装外壳，审核不能只看商店文案
“脱衣”工具不一定会在名称和介绍中直说用途。一些产品以换脸、照片编辑或AI头像应用的面貌上架，敏感功能藏在具体模板、提示词或付费入口中。只审核应用名称、截图和开发者提交说明，很容易漏掉真实输出。
2026年5月发布的一项预印本研究测试了155款标榜换脸功能的应用，其中70%能够生成裸露或性化图像。这项研究尚属预印本，结论仍需同行评议，但它至少说明，问题并非个别开发者偶然越界，而是现有审核方法难以识别一批外观正常、输出高风险的AI图像产品。
平台面对的三类产品，责任判断也不能混为一谈：
| 产品类型 | 常见外观与用途 | 风险特征 | 平台审核难点 |
|---|---|---|---|
| 专项“脱衣”工具 | 直接承诺移除衣物、生成裸照 | 高风险功能接近核心卖点 | 相对容易识别，重点是为何能通过审核并持续收费 |
| 伪装成换脸或修图的应用 | 换脸、滤镜、头像生成 | 敏感能力藏在模板、付费入口或实际输出中 | 商店文案与真实功能不一致，需要动态测试 |
| Grok等通用生成式AI | 对话、搜索、图像生成等多种用途 | 产品用途广，但可能被用户绕过防护生成有害内容 | 不能仅凭一次滥用下架，也不能因用途广泛而免于持续治理 |
这也解释了平台为什么频频失手。传统审核擅长检查代码权限、支付规则和静态素材，却未必会系统测试模型在不同提示词、上传图片和年龄场景下的输出。AI产品更新又快，开发者可以在上架后通过服务端调整模型和功能，审核通过时看到的版本，不一定等于用户最终使用的版本。
对应用商店和内容安全团队来说，整改不能停在删除13个产品。更现实的动作包括测试真实输出、复核高风险订阅入口、追查同一开发者的关联应用，并保存审核记录。一旦平台收到投诉后仍继续分发和收费，“不知道产品能做什么”的解释会更难站住脚。
AI应用开发者也需要重算上架成本。涉及人脸、身体编辑和图像生成的产品，年龄限制、真人照片授权、敏感提示词拦截和输出复核将从加分项变成基本门槛。只在用户协议里写一句“禁止违法使用”，不足以替代产品层面的防护。
Grok仍在商店，专项工具与通用AI的边界尚未划定
与13款专项或伪装应用形成对照的是，Grok仍可在苹果和谷歌的应用商店下载。已有事实显示，Grok可被滥用于生成儿童性虐待材料（CSAM）和非自愿私密影像（NCII），但这不等于它已经被认定违反应用商店政策或加州法律。
两类产品确实存在差别。专项“脱衣”应用的核心功能可能直接服务于生成裸露图像；Grok则是一款通用生成式AI产品，拥有大量合法用途。平台不能因为通用工具存在滥用案例，就自动适用与专项色情工具完全相同的处置方式。
但“通用”也不能成为永久豁免。真正需要检验的是，开发者和平台在知道具体滥用方式后，是否及时增加限制，是否阻止用户上传无授权真人照片，是否对未成年人相关请求采取更严格的拦截，以及违规账号能否快速处置。若风险已被反复证明，平台仍持续分发和抽成，专项工具与通用AI之间的责任距离就会缩短。
受影响最直接的仍是女性、未成年人及其监护人。发现疑似伪造内容后，应先保存页面链接、账号、发布时间和应用商店信息，避免反复下载或转发相关影像；随后向生成工具、应用商店和内容发布平台分别提交举报及删除请求。涉及未成年人或威胁、勒索时，应尽快联系执法部门及专业援助机构，而不是私下与传播者反复交涉。
接下来需要观察的变量很具体：苹果是否回应并移除8款应用，谷歌的暂停措施是否永久化，旧金山是否进一步提起诉讼，以及平台会不会把同一套审核和收费责任延伸到通用生成式AI。13款应用下架容易，建立一套不因产品名和公司规模而改变的责任标准，才是更难的一步。