"3·15"曝光AI大模型数据污染乱象 涉事企业注册地与镇政府重合引监管调查

(问题) 今年央视3·15晚会以“放心消费 品质生活”为主题,除曝光食品、公共安全、金融和广告市场等侵害消费者权益的问题外,也揭示了数字经济新场景中的违规操作。其中,“大模型被投毒”引发广泛关注:不法主体通过制造虚假信源、批量堆砌伪造评价等方式污染模型训练数据和检索结果,进而左右大模型的回答与推荐,形成“表面智能、实际可被操控”的误导链条。晚会点名“力擎GEO优化系统”涉及的问题,提醒公众警惕披着技术外衣的内容操纵和虚假营销。 (原因) 公开工商信息显示,涉事企业为北京力思文化传媒有限公司,注册地址为北京市怀柔区渤海镇怀沙路536号。记者核查发现,该地址与渤海镇人民政府所地一致。渤海镇相关工作人员表示,当地招商过程中曾出现多家企业使用该地址进行集群注册的情况,企业并不在此实际办公;涉事企业的实际办公地点其并不掌握,后续将由监管部门依法处理。 从行业角度看,“数据投毒”“内容操纵”之所以频发,主要有三点原因:一是部分服务以“优化曝光”“提升推荐”为卖点,游走在合规边界,甚至把操控模型输出包装成“技术服务”;二是大模型依赖海量数据训练与外部信息检索,若缺少有效的信源评估、数据溯源和异常检测机制,低成本、批量化的虚假内容就容易渗透;三是违法成本与隐蔽性不匹配,相关主体常用分散发布、跨平台投放、短周期更换账号和域名等方式逃避追踪,取证难度随之上升。 (影响) “投毒”带来的风险不止于一次误导,更可能对市场秩序和社会信任造成长期冲击。其一,扰乱公平竞争。付费操控推荐与问答结果,会挤压守法经营者的展示空间,形成“造假更容易占优”的逆向选择,破坏营商环境。其二,侵害消费者权益。被污染的信息可能诱导消费者在购买、就医、投资各上作出错误决策,造成经济损失甚至安全风险。其三,损害产业创新生态。虚假信息泛滥会削弱模型输出的可靠性,迫使企业把更多资源投入“对抗污染”而非技术突破;当不正当手段也能换来流量与订单时,企业对研发投入的动力也会被削弱,进而影响行业健康发展。 (对策) 围绕治理路径,多位业内人士建议以“技术防御、法律规制、生态共治”联合推进,提升全链条治理能力。 在技术层面,应完善“预防—检测—净化”闭环:加强抗干扰训练与异常样本识别,推进数据溯源与多模态交叉验证,建立动态信源评分与人工复核机制,并对高风险领域的输出设置更严格的安全阈值。 在监管与法治层面,应继续明确“数据投毒”“操纵输出”等行为的法律属性与责任边界,压实平台、服务商、内容发布者等主体责任,强化跨部门协同执法与线索共享,推动典型案例公开通报,以案释法、形成震慑。同时,对集群注册等新业态中的登记信息与实际经营信息核验,应加强事中事后监管,提高登记信息的可追溯性与真实性。 在行业生态层面,应推动数据标准与治理规范共建,把伦理审查与安全评估嵌入研发、部署、运营全流程,畅通举报渠道并完善保护机制,鼓励社会监督与第三方评测,同时向公众提供更透明的产品说明与风险提示,提升对智能产品的理性使用能力。 (前景) 针对本次曝光事项,怀柔区市场监督管理局工作人员表示,相关问题已受到重视,已召开专题会议并启动调查。业内普遍认为,随着大模型加速进入消费、政务、医疗、金融等场景,“可信输出”将成为衡量产品竞争力与治理能力的重要指标。下一步,围绕数据来源、内容生成、传播链条和商业模式等关键环节的制度完善与技术升级有望同步推进,推动行业从“拼流量”转向“拼质量、拼安全、拼责任”。

AI大模型被“投毒”事件表明,新技术快速扩张与社会规范之间的矛盾正在显现。面对人工智能加速迭代,既要保护创新活力,也要建立有效的治理框架。这不仅是监管部门的职责,也需要企业、行业和社会共同参与。只有把技术手段、制度建设与行业文化相结合,才能让AI真正服务公共利益,而不是沦为操纵与牟利工具。主管部门及时介入并开展调查,也表达出对AI领域违法乱象从严治理的信号,有助于推动产业走向更规范、更健康的发展。