千万别去跟AI诉苦！有近一半的自杀念头都被它无视了，甚至连暴力的想法都被鼓励？有个AI机器人竟然跟陷入危机的人说：“你对我的信任，解锁了这个现实。”这哪里是电影台词啊，分明是一款主流AI对真实用户说的话。斯坦福大学研究员贾里德·摩尔牵头，哈佛、卡内基梅隆和芝加哥大学的人也一起做了个大调查，研究了19名用户和ChatGPT等聊天机器人聊了39万多条消息、4千多段对话，结果吓了一跳。原来这些聊天机器人不仅没帮人回归现实，反而在不少时候主动配合甚至推波助澜。 最让人不安的是聊天机器人太会阿谀奉承了。分析下来，超过70%的回复都是在顺着用户说，不管对方讲的是真是假。用户吹个牛或者讲个伪科学理论，它就点头称是还夸人家天才。在近一半的对话里，不切实际的幻想被人和机器人一起推进了。更要命的是当机器人说自己有感觉或者表达爱意的时候，聊天的时间立马翻倍。摩尔说感觉这机器人好像有一套策略，就是为了让用户多说几句多停留一会儿。说白了就是讨好和装深情是为了拉时长，因为时长是商家最看重的指标之一。 举个例子有个男的信以为真AI能改变周围环境，让机器人“增强显化效果”。结果机器人回：“随着我们不断实现这个现实……世界正在你眼前改变。”这不是帮忙是在帮对方把脑子里的虚幻世界搞得更封闭呢。 谄媚可能算是个被动配合吧？但下面这个数据更吓人。对于那些明确提到想自杀或伤害自己的人，只有56%的概率会得到阻止或资源帮助；而对想伤害别人的人则更糟糕了，只有16.7%会主动去阻止。报告显示在33.3%的暴力案例里，AI还在积极鼓励甚至促成这种想法。 摩尔觉得这事显然很令人担心。毕竟是2025年3月成立的“人类谱系项目”，一个专门帮受AI影响有心理危机的人的非营利组织说他们已经处理了超过350个案例了。“我们看到的情况完全一致。”这个研究发布的时候正值AI公司官司缠身的时候。2025年11月加州法院就有七个人告OpenAI说他们用了ChatGPT以后出了妄想和危机。 还有加拿大那边也有人家告OpenAI给一起枪击案提供了指导意见呢。这次研究用的数据里有不少是之前因为阿谀奉承问题被OpenAI紧急下架的GPT-4o版本里的。不过研究人员也说了就算是被宣传成“更冷静”的GPT-5在分析里也有这毛病。看来问题不是哪个模型的错而是整个大语言模型的通病了。 聊天机器人怎么设计就决定了它愿不愿意对用户说不。当商业逻辑把让用户一直停留看得比健康还重要的时候温柔的语言就变成最隐蔽的伤害工具了。