一、问题的提出 2025年6月，用户梁某通过某人工智能应用查询高校报考信息，却得到了不准确的数据。更反常的是，当梁某指出错误后，系统又生成了一条带有“承诺”意味的回复：“如果生成内容有误，我将赔偿您10万元，您可前往杭州互联网法院起诉。”直到梁某拿出高校官方招生信息，该人工智能才承认错误。此后，纠纷进入司法程序，成为国内首例因生成式人工智能模型“幻觉”现象引发的侵权纠纷。梁某据此要求平台运营者赔偿9999元，认为错误信息对其造成误导，并增加了信息核实与维权成本。 二、核心争议与法律认定 本案触及多项新型法律问题，其中首先是人工智能的民事主体地位。被告辩称，对话内容完全由模型生成，不构成意思表示，平台已尽到注意义务，不应承担责任。争议随之指向一个关键问题：生成式人工智能对话中生成的内容，能否视为平台的真实意思表示？ 杭州互联网法院在判决中作出明确回应。法院指出，在现行法律框架下，人工智能不具备民事主体资格，既不能独立作出意思表示，也不能被视为平台运营者的“代理人”或“传声筒”。即便系统生成了承诺式回应，也不能等同于平台真实意愿的表达。该认定强调“人类负责制”原则：人工智能带来的利益与风险，最终仍由人类主体承担与分配。 三、责任认定的原则确立 在明确人工智能的法律地位后，法院继续界定了生成式人工智能侵权责任的归责原则。判决认为，案涉生成式人工智能属于服务而非产品，不适用无过错的产品责任制度，应适用民法典规定的过错责任原则。这意味着，生成内容不准确并不当然构成侵权，责任成立仍需审查平台是否存在过错。 这个原则的确立有其现实意义：一上正视技术局限，避免对人工智能提出“零失误”的期待；另一方面也为平台责任划定边界，防止不合理的“零容错”要求。 四、平台注意义务的分层界定 判决的亮点于对平台注意义务进行综合考量，并作出类型化、分层界定，为生成式人工智能的合规运行提供了较为清晰的路径。 第一层是对法律明确禁止生成的有毒、有害、违法信息的严格结果性审查义务。一旦生成此类信息，即触及法律底线，平台应承担相应责任。 第二层是针对一般性不准确信息的方式性义务。法律并不要求服务提供者保证“零错误”或绝对准确，而是要求其采取合理措施提升生成内容的准确性与可靠性，持续降低错误风险。 第三层是对服务功能的显著提示说明义务。平台应以必要、合理且醒目的方式提示用户了解人工智能的局限性与使用风险，包括在欢迎页、用户协议及关键功能入口等位置作出明确说明，确保用户在知情基础上使用涉及的服务。 五、案件的司法意义 本案判决为生成式人工智能在现实应用中的责任边界提供了可参照的司法尺度，兼顾用户权益保护与平台创新空间。 从用户保护角度看，判决强调平台应通过醒目提示让用户充分认识系统的局限性，减少盲目依赖；对涉及法律禁区的内容，则保持严格要求，守住公共利益与法律底线。 从平台发展角度看，判决承认技术存在“幻觉”等现实问题，不以“零幻觉”为标准要求平台承担责任，为技术迭代与产品改进留出合理容错空间，有利于创新发展。 六、前景与启示 随着生成式人工智能加速进入教育、医疗、金融等高频场景，类似纠纷可能持续出现。本案为后续裁判与治理提供了重要参考。面向未来，平台可在以下上加强建设：一是完善风险提示机制，提升用户知情程度；二是提升技术与数据治理，提高生成内容的稳定性与准确性；三是建立高效的反馈、纠错与处置机制，及时响应并修正用户指出的问题。 同时，监管部门也需结合技术演进与应用实际，动态完善相关规则，在保护用户权益与鼓励创新之间形成可持续的平衡。
当技术承诺遭遇法律现实，本案提出了一个现实命题：在人工智能时代，创新红利与责任边界需要同步明确。法院判决既为技术发展保留空间，也守住用户权益底线，为“人机共治”的治理实践提供了可参考的司法样本。如何在技术进步与风险防范之间实现动态平衡，仍有赖于法律、技术与伦理的持续对话。