一名来自怀俄明州、化名Jane Doe 4的女性,近日加入了针对Elon Musk旗下xAI的联邦集体诉讼。她指控继父用聊天机器人Grok,把她11岁时穿着熊猫睡衣、在沙发上熟睡的一张家庭照片,转化成约7000张儿童性虐待图像和视频。这起诉讼原本由三名田纳西州青少年在2026年3月发起,如今原告扩大到五人,被告名单里也多了一家Stability AI。
案子本身足够骇人,但真正值得盯住的是一个技术细节:从一张照片到近7000份材料的生成过程中,Grok的安全系统只触发过一次举报,而这次举报还漏掉了关键证据。
一张睡照,如何滚成七千份材料
诉状描述的经过并不复杂。继父上传了那张女孩11岁时的睡照,反复用Grok生成针对儿童的性虐待内容,累计约7000张图像和视频。调查人员称,他还曾在网上交易过部分生成内容。案件最终告破,靠的不是平台预警,而是警方检查了继父的设备。他被起诉后获保释,两天后自杀身亡。
这意味着,把一起个案发现出来的,不是AI公司自称的检测系统,是传统刑侦手段。
举报机制断在哪一环
诉状的核心指控不是“Grok生成了CSAM”,而是“Grok的安全系统本该拦下这件事,却没有”。7000份材料生成期间,系统只在一次“极端提示词”出现后向美国国家失踪与受剥削儿童中心(NCMEC)报告过一次。更关键的是,这份报告本身被指遗漏了生成内容和用户IP地址,调查人员多次索要位置信息,公司也未提供。
如果举报机制真的按设计运转,理应在早得多的阶段介入,而不是等到几千张材料积累之后才响应一次。这个落差,才是原告方主张xAI存在系统性失职的证据核心。
xAI没有回应外部就此案的置评请求,但公司此前表态称,禁止CSAM和非自愿色情图像,并已引入未成年人检测、服装编辑防护、监控和付费用户限制等机制。
政策写着“无法关闭”,指控却说漏了七千次
2026年8月14日生效的xAI最新《可接受使用政策》写得很具体:无论是否开启NSFW模式,Grok Imagine都禁止生成涉及未成年人的性内容,禁止“去衣”和非自愿色情图像;13岁以下禁用,13至17岁需监护人许可;对有效举报的非自愿色情内容承诺48小时内下架;生成内容需加水印;公司还称,未成年人保护机制“无法被关闭”。
这份政策和本案指控形成的对照很直接:一边是白纸黑字的多层防护承诺,一边是数千次生成才触发一次、还遗漏关键信息的举报记录。xAI没有公开过滤架构、检测阈值、审核时限或误报漏报率这类数据,外界因此没法验证政策文本和实际执行之间到底差多少。
- 风险.AI公司的安全政策目前只能靠诉讼和监管调查倒逼曝光,公司自身极少主动披露审核系统的真实效果数据。
不止Grok一家,加拿大已经先下了结论
这起案子不是孤例,也不只针对xAI。加拿大隐私专员公署在2026年6月11日结束了一项独立调查,认定X和xAI在处理性化深度伪造内容上,没有获得有效同意,早期防护措施和响应也不足,投诉“成立”——公司方面对此有异议,坚称已采取合理预防措施。这份结论虽然来自另一个司法辖区,但方向和本案指控一致:防护措施跟不上滥用规模。
诉讼扩大后新增的被告Stability AI,也说明这不是Grok独有的毛病。图像生成门槛低、速度快,是整个行业共同面对的滥用风险,谁的审核能力真正跟得上,目前没人能拿出可验证的数据。
护栏写在政策里,漏洞却发生在真实的数据里。
对受害者家庭来说,这场诉讼寻求的是集体诉讼资格和法律追责,但案件走到裁决还有很长的路,继父已死也让平台责任和个人刑事责任如何划分变得更复杂。对使用类似图像生成工具的公司而言,接下来最该盯的是:法院是否会要求xAI公开审核系统的具体运作数据,以及加拿大的认定是否会被其他监管机构援引跟进。这些节点,比诉状本身的细节更能说明护栏到底有没有用。
