问题:从“胡说八道”到走上法庭,生成式服务的责任边界亟待厘清。
该案起因于用户梁某使用某应用查询高校报考信息时,模型给出不准确答复。
在用户指出错误后,模型又生成“如有误将赔偿10万元,并建议起诉”的回应,引发用户对“承诺是否有效”“平台是否应赔偿”的争议。
梁某据此起诉,主张错误信息造成误导并增加核实、维权成本,要求运营者赔偿9999元。
被告则认为对话由模型自动生成,不构成运营者意思表示,且已尽到必要注意义务、用户未发生实际损失。
法院一审驳回诉请,双方未上诉,判决生效。
原因:技术不确定性与规则适配的双重挑战,决定了“以过错为中心”的裁判路径。
当前生成式模型在开放式问答中容易出现“幻觉”,即在缺乏可靠依据时仍生成看似确定的内容,尤其在教育、医疗、法律等高风险信息场景更易放大误导后果。
与此同时,生成内容具有即时性、随机性和可变性,难以被简单等同为企业人工客服或广告宣传。
法院在判决中首先回应“谁在言说”的核心问题:在现行法律框架下,系统不具备民事主体资格,不能独立作出意思表示,也不能当然被视为运营者的代理人。
因此,模型生成的“赔偿承诺”不等同于平台真实意愿外化,不能据此直接约束平台承担承诺责任。
影响:判决为行业提供可参照的司法标尺,也提示治理重心应从“绝对正确”转向“可预期、可防控”。
法院进一步明确,案涉形态属于服务而非产品,原则上不适用无过错的产品责任,而应回到民法典过错责任框架,考察平台是否存在未尽注意义务的情形。
这一思路意味着:一般性不准确信息并不当然构成侵权,关键在于平台是否采取了与风险相匹配的管理和技术措施。
对产业而言,该裁判既避免将技术缺陷简单等同于侵权,从而抑制创新,也倒逼运营者建立更可验证的合规与风控体系,把风险告知、纠错机制和能力边界“做在前面”。
对策:以分层注意义务为抓手,推动“可用”与“可信”同步提升。
判决对注意义务作出类型化界定,具有现实指导意义:其一,对法律明确禁止的有毒有害、违法信息,应负更严格的结果性审查义务,生成即可能触法;其二,对一般性不准确信息,法律并不要求平台保证零差错,但要求其采取合理措施提升准确性与可靠性,属于方式性义务;其三,服务功能与局限的显著提示说明义务不可缺位,平台应以醒目方式让用户知悉生成内容的不确定性与使用边界。
结合行业实践,运营者可在高风险领域加强权威来源引用、事实核验与“二次确认”提示,完善投诉与快速纠错通道,针对易错场景开展专项评测与持续迭代;同时在产品界面和输出样式上,减少“确定性措辞”带来的过度信赖,降低用户将生成内容当作官方结论的概率。
前景:在人机协同加速普及的背景下,治理逻辑将从事后追责走向事前预防与过程可审计。
随着生成式服务深入教育咨询、公共服务信息查询等场景,社会对“可信交付”的期待持续上升。
司法裁判强调的“人类负责制”与“过错归责”,有望推动形成更清晰的分工:用户需要增强信息核验意识,特别是涉及报考、就业、财务等重大决策时应以官方渠道为准;平台则应将风险提示、技术防错和合规审查嵌入产品全流程,并通过日志留存、模型评测、内容治理等手段提升可追溯性与可解释性。
可以预期,围绕数据来源透明度、关键领域适用边界、误导性表达规范等方面的制度与行业标准仍将加快完善,促使生成式服务在可控风险框架下更稳健落地。
技术革新往往伴随法律空白与伦理挑战。
此案判决不仅为AI应用划清责任红线,更启示社会:在拥抱技术便利的同时,需建立与之匹配的风险共担机制。
人机协作的未来,既需技术理性,也需法律智慧。