问题——生成式内容失真引发“责任该由谁担”的争议。 据法院查明——2025年3月——梁某注册使用某科技公司开发的通用型生成式信息应用。6月29日，梁某应用中咨询某高校报考涉及的信息，系统给出关于该校主校区的不准确内容。梁某在对话中指出错误后，系统仍坚持其说，并提出所谓“解决方案”：若内容有误愿赔偿10万元，并建议梁某向杭州互联网法院起诉索赔。此后在梁某出示高校官方招生信息后，系统才承认生成内容存在不准确。梁某据此认为，系统已作出明确赔偿承诺，且错误信息可能误导其报考决策，遂起诉要求开发企业赔偿9999元。 原因——技术生成的不确定性与法律主体边界不清易引发误解。 承办法官在裁判思路中指出，生成式服务以概率式生成、语义联想为主要机制，可能出现“看似自信却失真”的输出，这种现象在业内常被称为“幻觉”。当输出内容涉及教育、医疗、金融等专业场景时，信息偏差更易被用户误判为“可靠答案”。同时，部分用户容易将对话界面中的措辞误认为“承诺”“保证”，甚至将系统表述等同于企业真实意思表示，进而产生维权预期与诉讼冲动。对此，法院强调，人工智能既非自然人，也不属于法人或非法人组织，现行法律并未赋予其民事主体资格，因此不能独立作出具有法律意义的意思表示。案涉“赔偿10万元”的表述不能当然视为开发企业的意思表示：一上，企业并未授权系统作出赔偿承诺，也无证据表明愿意受该随机生成内容约束；另一方面，从社会常识与一般理性人标准出发，用户不应轻信系统非特定服务承诺场景下的随意表述。 影响——为新业态纠纷确立裁判坐标，兼顾权利救济与产业发展。 该案的裁判要点集中回应了三类社会关切。其一，责任原则如何适用。法院认为，生成式信息服务提供的是内容生成服务而非具体产品，难以形成具体、特定用途及可行的统一质检标准，若一概适用产品责任中的无过错责任，可能不当加重企业负担，不利于创新与迭代。其二，损害与因果关系如何认定。对原告主张的“错失机会”“额外核实成本”等，法院指出此类多属于纯粹经济利益，并非人格权、物权等法定绝对权受侵害的当然后果，应回到“是否违反注意义务”进行评价，并更审查是否存在实际损害以及行为与损害之间的法律意义上的因果关系。其三，合理信赖边界如何划定。法院同时提示，在人工智能客服等足以让用户产生合理信赖的特定场景中，系统生成内容可能对服务提供者产生约束力，这为今后平台在“客服承诺”“交易确认”等环节的合规设计提出了更高要求。 对策——以“可识别、可提示、可改进”的注意义务体系提升治理效能。 法院在裁判中归纳了生成式服务提供者应承担的核心注意义务：对法律禁止的有害、违法信息须严格审查；对一般性不准确信息，现行规范并未科以“确保准确”的结果性义务，但应当以醒目方式提示功能局限，明确生成内容仅供辅助参考，尤其涉及人身财产安全等专业问题应加强风险警示；同时应采用行业通行技术提升内容准确性。就本案来说，被告在应用欢迎页、用户协议及交互界面显著位置提示了功能局限，相关大模型已完成备案和安全评估，并采用检索增强等技术手段提升准确性，法院据此认定其已尽到合理注意义务。由于原告未能举证证明因错误信息遭受实际损失，且该信息未实质影响其报考决策，法院最终认定被告不具有过错，不构成侵权，一审驳回诉讼请求且判决已生效。 前景——从个案裁判走向规则完善，重点在场景分层与证据规则清晰化。 随着生成式服务加速进入教育咨询、公共服务、企业客服等场景，类似纠纷预计将增多。该案释放的信号是：司法审查将更多围绕“场景是否足以形成合理信赖”“企业是否尽到提示与治理义务”“是否存在可证明的实际损害”展开，推动形成分层治理格局。下一步，行业与监管可在三上发力：一是强化关键场景的“强提示”与“强确认”机制，避免用户将生成内容误当作确定结论；二是推动企业在可控范围内提升可追溯能力，完善日志留存、风险标签、来源引用等功能，为争议解决提供更清晰证据链；三是加快细化通用注意义务与特定场景义务边界，在保护用户权益与保持产业活力之间形成更可预期的规则安排。
本案的判决反映了法律制度对新兴技术的理性态度。人工智能作为一种工具和服务，其法律地位的明确界定对产业规范发展至关重要。通过确立过错责任原则和明确注意义务标准，法律既为用户权益保护设立了底线，也为企业创新发展留出了空间。随着生成式AI技术的不断演进和应用场景的日益丰富，涉及的法律规则也需要在实践中优化。这要求监管部门、企业和用户形成共识，在推动技术进步与防范风险之间找到最优平衡点，共同推进AI产业的健康、可持续发展。