问题浮现 2025年6月，用户梁某通过某人工智能平台查询高校主校区信息时，系统生成了与事实不符的内容。用户指出错误后，工具不仅未作更正，反而宣称“若信息有误将赔偿10万元”。该事件暴露出生成式人工智能在特定场景下可能输出虚假信息的风险，最终演变为全国首例有关领域司法案例。 技术溯源 业内专家分析认为，此类情况与大语言模型的工作机制有关。系统主要依据概率模型预测词汇序列是否“合理”，而非对事实进行核验。其知识边界受训练数据限制，在面对冷门或专业问题时，可能为了语言连贯而生成“看似合理但实际错误”的回答。此外，网络数据污染同样值得关注——过时信息、营销内容等非规范数据混入，会深入放大输出失真的风险。 司法界定 本案判决明确了三项法律原则：第一，人工智能生成内容不构成民事法律行为；第二，平台应履行显著提示义务；第三，技术可靠性应达到行业基本标准。法院审理认为，被告已在用户协议、交互界面等多处明确提示系统局限，并采用检索增强生成等方式提升准确性，因此认定其已尽到合理注意义务。该裁决为同类案件提供了重要参考。 行业警示 判决书特别指出，现行法律并未要求人工智能服务商对系统自发作出的承诺当然担责，但从业者仍应改进技术与治理措施，包括建立更及时的事实核查机制、完善错误反馈通道、加强训练数据清洗等。中国人工智能产业发展联盟专家委员会建议，行业建立分级风险提示制度，对医疗、法律等高风险领域进行特别标注。 用户指引 监管部门提醒公众，使用人工智能工具时应保持必要审慎：涉及关键决策的信息应交叉验证；对系统作出的任何形式“承诺”保持警惕；发现明显错误可通过官方渠道投诉。中国消费者协会2025年度报告显示，智能服务相关投诉中，27%涉及信息准确性问题，较上年增加8个百分点。
这起案件表面源于一次错误输出，折射的是新技术快速普及背景下的认知边界与责任边界。技术进步应服务于更高质量的信息供给，而不应制造新的信息迷雾。只有用户保持审慎、平台落实义务、治理规则及时跟进，才能让新技术在规范轨道上释放价值、减少伤害，在便利与安全之间取得更稳妥的平衡。