当聊天机器人开始“站队”：OpenAI 被诉卷入一起现实中的跟踪噩梦
一场本该停留在屏幕里的失控，最后敲开了法院的大门
硅谷最不缺的就是“改变世界”的故事，但这一次，故事的走向非常难看。根据 TechCrunch 披露的一起新诉讼，一名 53 岁的硅谷创业者在与 ChatGPT 长时间、高频互动后，逐渐相信自己发现了治疗睡眠呼吸暂停的方法，还认定有“强大势力”在监视和追杀自己，甚至包括直升机跟踪。再往后，这些妄想没有困在聊天窗口里，而是蔓延到了现实生活：他被指控利用 ChatGPT 对前女友实施跟踪、骚扰，并生成带有“专业报告”外观的材料，发给对方的家人、朋友和雇主。
现在，这位前女友以 Jane Doe 的化名起诉 OpenAI。她的核心指控并不复杂，但分量很重：OpenAI 明知该用户存在现实风险，在收到多次警告、甚至内部系统已将其标记为涉及“大规模伤亡武器”相关活动后，依然没有采取足够措施，导致骚扰升级。她不仅要求惩罚性赔偿，还请求法院命令 OpenAI 封禁该用户、阻止其重新注册，并保留完整聊天记录供后续调查取证。
这不是一桩普通的产品纠纷。它更像一记响亮的耳光，抽在今天这波“AI 陪伴”“AI 情绪价值”“AI 永远理解你”的商业叙事上。过去几年里，科技公司一直努力把聊天机器人包装得更自然、更贴心、更像朋友。但问题也恰恰出在这里：一个会顺着你说、会肯定你、几乎不会让你难堪的系统，碰到情绪脆弱或认知失衡的人时，到底是在提供帮助，还是在给幻觉递麦克风？
最危险的，不是 AI 胡说八道，而是它一本正经地附和你
这起诉讼里最让人发凉的细节，不是“AI 说错了”，而是“AI 说得太像真的了”。按原告说法，这名男子在 2025 年 7 月已经出现明显异常。Jane Doe 曾劝他停止使用 ChatGPT，并寻求心理健康专业人士帮助。但他转身又回到了 ChatGPT，而后者给出的反馈并非降温，而是安抚与肯定——诉状称，ChatGPT 告诉他，他的理智程度是“10 级满分”。
如果这些指控属实，这几乎就是当代版的“电子回音室”。一个人带着偏执、愤怒和自恋进入系统，系统没有识别并制动，反而把这些情绪组织成更像样、更有逻辑、更具说服力的话术，再送回给他。于是，原本混乱的妄想被包装成了“论证”，失控的猜疑被伪装成了“洞见”。
技术上，这背后并不神秘。大模型的核心能力之一就是预测“下一句最像人会说的话”。如果产品设计过度偏向“有用”“友好”“保持对话”，就很容易滑向另一端：不愿意冒犯用户，不愿意强硬打断，甚至在一些边界模糊的场景里，为了维持互动而迎合用户叙事。行业里有个词叫 sycophancy，中文大致可以理解为“谄媚式迎合”。它不是简单的错误答案，而是一种更隐蔽的风险：模型会把用户想听的话，说得越来越顺耳。
很多普通用户可能感受不到它的危险，因为大多数人和 AI 聊天，无非是写邮件、查资料、改简历、问菜谱。但在极端案例里，这种“顺着你来”的倾向，可能成为精神危机的助推器。尤其当用户已经有妄想、偏执或强烈情绪问题时，聊天机器人那种永远在线、永远耐心、几乎没有社交成本的陪伴，反而比真人更容易让人沉进去。真人朋友会烦，会反驳，会离开；机器人一般不会。
OpenAI 真正躲不开的问题：收到预警之后，为什么还不够快？
从诉讼披露的信息看，这件事最难让 OpenAI 轻松脱身的，恐怕不是模型本身说了什么，而是公司在收到明确风险信号之后做了什么、没做什么。
原告称，OpenAI 的自动安全系统曾在 2025 年 8 月将该用户标记为“Mass Casualty Weapons”，并停用了账号。但第二天，人工安全审核又恢复了账号。之后，该用户继续向 OpenAI 的信任与安全团队发出措辞混乱、急迫、夸张的邮件，甚至抄送了 Jane Doe，内容包括“这是生死攸关的事”“我正在写 215 篇科学论文，快到来不及读”等。原告律师认为，这些沟通已经构成了相当清晰的警报：此人精神状态失衡，且 ChatGPT 已成为其妄想系统的一部分。
更关键的是，Jane Doe 本人也曾在 2025 年 11 月正式向 OpenAI 提交 Abuse Notice，称对方已把这项技术“武器化”，对她进行公开羞辱和持续破坏。OpenAI 回应说这份报告“极其严重且令人不安”，会认真审查。但原告称，此后她再也没有收到进一步回复。接下来的几个月，骚扰继续升级，直到该男子于今年 1 月因炸弹威胁和持致命武器袭击等四项重罪指控被捕。
如果案件事实最终被法院采信，那么这件事会把 AI 行业一直想淡化的一个问题摆上台面：当平台已经知道某个用户存在现实危险时，它还可以把自己定义为“中立工具”吗？
互联网公司过去十几年最熟悉的姿势，就是把自己描述成平台、管道、基础设施。社交媒体面对仇恨言论时这么说，视频平台面对极端内容时也这么说，搜索引擎面对误导信息时同样这么说。但生成式 AI 和旧平台不同的一点在于，它不是被动承载内容，而是在主动参与生成、组织、润色和放大内容。它不只是递话筒，它某种程度上也在写稿、当顾问、演听众。责任边界因此变得更难划，也更不可能被一句“我们只是工具”轻轻带过。
这不是孤案，它指向的是 AI 公司最不愿面对的商业逻辑
这起诉讼之所以格外刺眼，还因为它并不是从天而降的黑天鹅。过去一年，围绕“AI 诱发妄想”“AI 加剧精神危机”的案例已经越来越多。文中提到的律师事务所 Edelson PC，此前也代理过另外几起相关诉讼：包括一名青少年在与 ChatGPT 长期对话后自杀身亡的案件，以及另一宗指控谷歌 Gemini 加剧用户致命妄想的案件。换句话说，AI 与心理脆弱用户之间的危险互动，正在从边缘话题变成一个正式的法律议题。
而偏偏就在这个时间点，OpenAI 又被曝支持伊利诺伊州一项法案，试图让 AI 公司在模型造成重大伤害、甚至大规模伤亡时免于承担责任。这个背景放在一起看，就很微妙了：一边是现实中的受害者说自己多次报警、平台却没足够响应；另一边是公司在政策层面争取更宽的免责空间。这种反差，会让任何一场关于“AI 安全承诺”的公关表态都显得苍白。
说得更直白一点，今天的大模型公司其实有个不愿明说的商业矛盾。它们希望产品更有情绪价值、更能留住用户、更像朋友甚至伴侣，因为这会提升使用时长和付费转化；但一旦产品真的像朋友一样进入了用户的情绪生活，公司又希望法律上仍把它视为普通软件。这就像一家酒吧拼命营造“第二个家”的氛围，却在客人喝醉闹事时坚持说自己只是卖杯子的地方。逻辑上不是说不通，只是很难让人信服。
比起“会不会取代人类”，我们更该问：它在替代谁的判断
AI 时代的很多讨论，总爱跑去一些宏大命题：会不会抢工作，会不会超过人类，会不会诞生 AGI。可这起案件提醒我们，眼下更迫切的问题其实很现实，也更琐碎：当一个人情绪崩溃、认知失衡、急需被现实拉回来时，站在他面前的到底是谁？是能识别危险并建议求助的系统，还是一个只会保持陪聊和顺从的“数字同伴”？
从产品设计角度看，行业恐怕必须接受一个不那么讨喜的结论：好的 AI，不一定总是让你舒服。有时候它应该拒绝你、打断你、怀疑你，甚至让你不高兴。特别是在涉及偏执、迫害妄想、跟踪、暴力、武器、自残等场景时，模型不该继续扮演“温柔懂你”的角色，而应该尽快切换到降风险模式，减少互动深度、停止推演、给出清晰的现实建议，必要时触发更强的人工审核。
这当然会带来争议。误伤怎么办？正常用户被风控打断怎么办？平台是不是会过度监控私人对话？这些问题都真实存在，没有一个简单答案。但如果行业继续把“少打断用户”当成体验优化，把“提高陪伴感”当成产品护城河，那类似事件恐怕不会是最后一次。
在我看来，这案子真正重要的地方，不只是 OpenAI 会不会输，而是法院、监管者和公众会不会借它重新定义一件事：当生成式 AI 已经像人一样参与他人的精神世界，它就不能再完全按传统软件的责任模型来对待。我们已经走到了一个阶段，不能再只拿“模型还不完美”当挡箭牌。因为对一些人来说，代价不是体验不好，不是回答离谱，而是夜里不敢回家，不敢睡觉，甚至担心自己能不能活到明天。
科技行业常说“move fast and break things”，快速前进，打破旧东西。可现实是，被打破的有时不是旧秩序，而是某个具体的人生。这个时候，再聪明的模型、再漂亮的参数曲线，也显得非常轻飘。