问题——“投毒”瞄准大模型推荐,虚假信息被包装成“标准答案” 近期,央视3·15晚会曝光大模型“投毒”乱象:一些服务商面向商家提供所谓GEO服务,通过多个互联网平台批量发布“软文”“测评”“科普”等内容,诱导大模型抓取并在生成式问答中予以引用,从而使特定产品在对应的提问中获得更高曝光。曝光显示,个别机构不仅帮助客户“抬高排名”,还提供“抹黑竞品”等灰色业务,通过投喂虚假内容干扰对手在大模型中的呈现结果,形成新的网络黑产链条。 原因——商业逐利叠加信息稀缺,模型机制与平台生态被钻空子 业内分析认为,“投毒”之所以滋生,至少有三上原因。 一是利益驱动强。生成式问答逐渐成为用户获取信息的新入口,影响消费决策、品牌口碑与交易转化,诱使不法机构把“操控答案”当作新的流量生意。 二是内容生态易被批量化冲击。黑产利用自动化工具生成看似“客观”的文本,再通过自媒体账号矩阵铺设,制造“多源一致”的假象。模型在抓取和交叉验证时,若缺乏对来源可靠性的约束,容易将重复出现的错误信息当作可信信号。 三是垂直领域信息供给不足。越是专业、细分的行业领域,公开权威资料越少、有效信息密度越低,模型更可能依赖网络上“声量大、数量多”的内容,从而被营销稿、伪科普影响。同时,平台审核与专业鉴别能力在部分领域仍显不足,为黑产操作留下空间。 此外,从技术逻辑看,GEO与传统搜索引擎优化有相似之处:都是围绕“被收录、被引用、被靠前展示”做文章。不同在于,大模型输出常以“答案”形态呈现,具有更强的权威感与可传播性,一旦被污染,更易形成误导。 影响——从误导消费到扰乱竞争,风险外溢至产业与治理层面 大模型“投毒”带来的危害具有多重外溢效应。 对消费者而言,虚假广告或失实测评被包装成“智能推荐”,会增加决策成本,放大信息不对称,甚至诱发健康、金融等领域的安全风险。 对企业与市场而言,“黑产抬排名、抹黑竞品”破坏公平竞争秩序,挤压正规经营者的生存空间,推动营销成本畸高化,形成“劣币驱逐良币”的压力。 对平台与模型生态而言,被污染的数据会造成持续性影响:错误信息一旦进入模型引用链条,可能在不同产品、不同场景间被反复生成与传播,形成“滚雪球式”扩散,削弱生成式服务的可信度与公信力。 对行业发展而言,当前我国大模型加速落地应用,相关产品数量持续增长。若任由“投毒”蔓延,不仅会冲击产业创新环境,也会提高治理成本,影响技术应用的社会接受度。 对策——技术防护与平台治理并举,形成“可追溯、可识别、可纠偏”的闭环 治理大模型“投毒”,关键在于切断黑产链条、提升来源治理、强化模型辨伪与快速纠偏能力,形成全链条防线。 一是提高内容源权重管理与透明度。对明显带有商业推广特征、软文属性的内容应建立识别标记与降权机制;对权威机构、专业媒体、行业标准与学术资源等高可信来源适度增权,避免“数量堆叠”压过“质量可信”。 二是加强账号与传播链路治理。针对批量注册、矩阵式发布、异常频次分发等行为,平台应完善风控模型与处置规则,提升对“自动化生成+批量投放”的识别拦截能力,并推动跨平台线索协同,压缩黑产迁移空间。 三是提升模型侧“辨伪与拒答”能力。模型在输出时应更重视证据链完整性,对关键结论给出来源提示、时间标注与不确定性说明;对缺乏可靠出处或疑似营销导向的问题,适当触发核验机制或拒绝提供确定性结论,减少“被带节奏”的空间。 四是建立快速纠错与申诉通道。对被投毒影响的品牌、机构或用户,应提供可验证的纠错流程,推动“发现—核实—修正—回溯”闭环运行,并将已确认的虚假链路纳入持续拦截名单。 五是依法打击与行业自律并重。对以牟利为目的实施编造传播虚假信息、恶意诋毁等行为,应强化证据固定与执法衔接,提升违法成本;同时推动广告标识规范、内容创作伦理与数据使用规则在行业内落地。 前景——以更强“可信机制”护航应用落地,推动生成式服务回归公共价值 生成式服务正在重塑信息分发与商业推广模式。治理“投毒”不能只靠事后处置,更需把可信机制前置到数据、内容、模型与平台规则中。业内人士指出,随着算法持续迭代、权威内容供给增强以及跨平台协同治理推进,大模型有望逐步形成对软文与虚假信息的识别能力,通过长期积累实现“从善如流”,减少偏听偏信。同时,面向医疗、金融、教育等高风险领域,强化分级管理与专业审核,将成为提升安全边界的重要方向。
大模型的价值在于提高信息获取效率,但前提是信息源真实可靠。对“投毒”灰产的治理,既要依法严惩虚假宣传与恶意诋毁,也要以技术手段增强识别能力,更要通过权威信息供给与清晰标识规则重塑内容生态。唯有让真实、专业、可追溯的内容成为主流,才能守住消费者权益与市场公平竞争的底线,为新技术健康发展提供稳定预期。