新研究称“人工智能生成”标注或致真信息被低估、假信息反获加分

随着AI技术的应用扩大,算法生成的科学内容社交媒体上频繁出现。这引发了全球担忧:这些内容可能包含虚假或具有迷惑性的信息,影响公众判断。为此,各国监管部门和互联网平台纷纷推动建立AI内容披露机制,希望保护公众免受误导。 但《科学传播期刊》上的最新研究提出了一个令人警醒的发现。中国社会科学院大学新闻传播学院的研究团队发现,这类标注措施可能适得其反。研究负责人林腾博士指出,同样的AI标注会根据信息真伪产生相反的效果——降低真实信息的可信度,同时提升虚假信息的可信度。研究团队将该现象称为"真伪交叉效应"。 AI生成内容之所以具有误导性,主要源于两个上。一是语言模型容易出现"幻觉",生成看似合理但不符合事实的内容。二是不良行为者可以故意引导AI系统制造表面可信的虚假信息。 为验证标注的实际效果,研究团队在2024年3月至5月招募了433名参与者进行实验。他们制作了四类社交媒体帖子:带有和不带有AI标注的真实信息,以及带有和不带有AI标注的虚假信息。所有内容基于中国科学辟谣平台的资料改编,并由研究者独立审核。参与者对每条帖子的可信度进行评分,研究人员同时测量了参与者对AI的态度和对对应的话题的关注程度。 实验结果出现了反直觉的规律。当信息被标注为AI生成时,真实信息的可信度明显下降,虚假信息的可信度反而上升。林腾解释说,这意味着AI内容披露并不能帮助人们区分信息真伪,反而以不对称的方式重新分配了内容的可信度。 研究还发现,个体对AI的态度会影响这一效应。对AI持负面看法的参与者,看到标注为AI生成的真实信息时,会更强烈地降低信任度。但即便在持负面态度的人群中,虚假信息获得的可信度提升也并未完全消失,只是部分减弱。这种减弱还具有话题依赖性,仅在某些特定话题中有所体现。这表明,所谓的"算法厌恶"并不会导致人们一概拒绝AI生成内容,而是引发更复杂、不对称的反应。 针对这一问题,研究团队提出了改进建议。其一是采用双重标注方式。除了标明内容由AI生成外,还可加入"信息未经独立核实"的声明或风险提示,在披露来源的同时提醒用户保持警惕。 其二是建立分级标注体系。不同类型的科学信息所面临的风险等级存在差异。医疗健康信息涉及公众生命安全,可能需要更强烈的提示;而新技术相关信息的风险相对较低。因此应根据内容类型与风险等级采用相应程度的披露标注。 这项研究凸显出一个重要原则:任何监管措施实施前,必须进行严谨的科学测试。初衷良好的透明度举措如果缺乏充分的实证支撑,可能带来意想不到的负面后果。

当技术治理面临复杂挑战时,简单的"贴标签"式监管已经不够。这项研究揭示了认知科学与数字治理的交叉难题,也预示着人机协同的信息审核机制将成为未来方向。在真相与谬误的博弈中,如何构建兼顾效率与精准的识别体系,将是全球数字化进程面临的长期课题。