2026年9月26日凌晨5点10分,30岁的佛罗里达州女子 Carli Michelle Heller 打开 Claude。她在对话框里敲下一行字:「我现在就要去血洗警长办公室」。次日凌晨1点07分,她追加了一条消息。这条记录称自己当天搞到了一把新枪。她把大模型当成了发泄情绪的私人日记本。
三天后,Lee County 警长办公室的警员敲开了她的门。现场没有发生任何武装冲突。Heller 被平静带走,案件随后移交情报侦探跟进。等待她的是佛罗里达州法 836.10 项下的一项二级重罪指控。一旦定罪,她将面临最高15年监禁和1万美元罚款。
凌晨五点触发警报,15年刑期开始倒数
Heller 被捕无关邻居举报,也无涉社交平台公开记录。警察上门,完全因为那两条深夜牢骚精准触发了 Anthropic 的安全审核系统。云端系统按预设的关键词和威胁定级模型,自动拦截了这段对话。文本包含「血洗」字眼,且明确指向执法机构。系统当即上调严重程度,直接分配给人工审核团队处理。
屏幕另一端的人类审核员读完了这些字符,将其判定为可信威胁。Anthropic 随后打包了这份用户聊天记录。公司按既定流程将其原封不动地发给了 Lee County 警局。
图:佛州女子使用 Claude 写下威胁言论被转报警方的相关报道。来源:TechSpot
用户面对的是一个极简的白底黑字输入框。交互逻辑无限趋近于手机自带的本地备忘录。界面设计一直在暗示这是一种绝对私密的对话。当你敲下回车键,这些字符就不再停留在本地设备的内存里。它们排队进入硅谷服务器的安检传送带,终点连着警察局的接警台。
机器过筛一遍,等于交由人类传阅
这起定于11月2日聆讯的案件,撞上了一项诞生于互联网早期的州立法律条款。佛罗里达州法 836.10 规定了一个核心前置条件。构成「书面或电子形式的暴力威胁」罪名,通信必须以「另一个人可以查看的方式」发送、张贴或传输。
按美国现行法律体系,本地文件享受着完整的隐私豁免。一个人如果在实体笔记本或未联网的记事本里写下犯罪计划,通常不触犯刑法。因为缺乏实质性的传播途径,警方即便知情也只能实施监视,无法以未遂重罪抓人。法庭现在需要界定一个前所未有的工程动作。把文本发送给云端的机器模型,是否等于发送给另一个人?
从工程架构上看,云端模型的每一次对话推理,本质上都是一次跨越公网的数据传输。用户提交指令的瞬间,内容的阅读控制权就已经转移。微软 Copilot 图像编辑器的人工承包商每天都在批量查看用户的提示词、上传照片和生成结果。部分审核任务本身就包含色情或可能违法的内容。这些审核员的职责甚至不包含安全拦截,仅仅是评估模型输出的准确率。
机器看一遍,人类员工再抽查一遍。这已经是当前生成式 AI 行业标准的运行模式。所谓的算法黑盒,外围永远站着一圈随时准备介入的人类员工。
隐私承诺为免责条款让路
Anthropic 消费级服务条款确实包含保护用户隐私的承诺。但翻开2026年9月10日生效的隐私政策,文件预留了权限极大的例外通道。政策明文规定,当公司善意相信披露是为了防止严重伤害所必需时,保留自行决定向执法机关共享数据的权利。至于什么是严重伤害,判断标尺完全捏在审核员手里。
就在9月份,另一名用户在 Claude 里记录了购买 AR-15 步枪的细节。他甚至把 Anthropic 首席执行官 Dario Amodei 放进了瞄准镜。这名用户随后迎来了旧金山警局的登门拜访。负责转报此事的员工在面对警员时承认,自己当时并不担心公司 CEO 的人身安全。这名员工仅仅在执行既定的政策流程。该用户向媒体表示这只是玩笑,最终未被逮捕。
图:Claude 应用界面与标识。来源:India Today
这种隐私让步通道是完全单向的。同一份隐私政策写明,被标记以便安全审查的对话,仍会被用于改进有害内容检测能力。一条被拦截的极端情绪日记,转身就会变成训练下一个安全过滤器的语料。触发拦截的硬性阈值在哪里,人工复核的放行尺度有多宽。误报之后是否有顺畅的申诉机制。这些关乎定罪边界的要素,在光洁的产品界面上毫无踪影。
4周内出现3起报警,平台全盘上报转嫁风险
科技大厂对用户输入保持高压审查,源于面对连带责任时的诉讼恐惧。不报警带来的代价,往往比直接报警高昂得多。2025年6月,加拿大卑诗省 Tumbler Ridge 爆发校园枪击案,致8人死亡。事后调查撕开了一个缺口:18岁的枪手此前已在 OpenAI 的对话中大量输入涉枪暴力内容。系统安全团队对其账号进行过专门标记。
OpenAI 内部曾权衡过是否需要报警。他们最终判定该账号不构成迫近且可信的严重伤害风险,选择不采取行动。仅仅一年后,佛罗里达州在2026年6月针对这起惨案正式起诉 OpenAI 及其首席执行官 Sam Altman。
这种沉重的诉讼压力彻底重塑了行业的合规准则。OpenAI 在2025年8月的政策更新中立下规矩。针对他人的暴力威胁一律交由人工审核员处理,审核员拥有直接转报执法机关的权限。Anthropic 在短短四周内连续出现至少三起报警事件,正是这种合规压力的直接体现。面对一句「血洗」的输入,平台既没有能力也没有意愿去分辨真伪。
区分网络情绪发泄与真实行动预告的成本极高。全盘上报成了大公司的最优解。企业把潜在的公共安全风险转手交给警察,把过度审查的后遗症留给用户自己承担。
聊天框收缴最后的情绪空间
法律界对具体法条适用边界的争论还在继续。部分法学从业者认定,Heller 指名道姓提到了具体警局,给出了时间状语「现在」。她在次日明确补充了获取武器的信息。这种指向明确、细节可信的威胁理应在萌芽阶段被强行终止。
另一部分声音把矛头指向了 AI 产品的设计本身。大语言模型的营销话术常年教导用户把机器当成无话不谈的倾听者、私人助理和心理树洞。产品界面不断鼓励用户卸下防备,倾吐连亲密伴侣都不会分享的隐秘想法。这套温情脉脉的系统后端,悄悄接上了一根直通警局的网线。
商业产品将防止潜在伤害设定为不可撼动的最高优先级。在这种规则下,每一句过激的牢骚都具备转化为呈堂证供的潜力。把最私密的情绪托付给一条不受个人控制的数据管道,这是当今数字时代风险极高的单向交易。AI 从来没有充当过安静的树洞。它就是一座由算法探照灯和人工审核员共同驻守的监控塔。
参考链接:
- TechSpot 报道
- Decrypt 报道
- Gulf Coast News Now 报道