印度理工学院提出分阶段训练新方案 促进对话系统可溯源回答并显著抑制“幻觉”

(问题)随着对话式系统加速进入搜索、客服、教育与办公等领域,“答得像真的、却可能是错的”成为用户最普遍的担忧之一。业内将这种生成看似合理但缺乏依据的内容称为“幻觉”。医疗建议、法律咨询、学术检索等高敏感场景中,一旦系统输出未经证实的信息,轻则误导决策、增加核验成本,重则可能带来安全与合规风险。因此,如何让系统“只基于证据说话”、并让用户“看得见证据从哪里来”,成为当前对话技术迈向可靠应用的关键门槛。 (原因)造成“幻觉”的重要原因在于:其一,通用模型往往在海量数据上学习语言规律,擅长组织表达,却未必具备逐条核验的能力;其二,训练目标通常更偏向“连贯与有用”,对“可证据化”约束不足;其三,多语言环境下,可靠性能力在不同语言之间往往迁移不充分,导致小语种或区域语言更易出现事实偏差。如何将“引用可溯源、回答受约束、跨语言可迁移”三项能力组合在一起,是技术与工程层面的难点。 (影响)据研究介绍,该团队提出一套“四阶段”训练思路,将可靠性能力拆解为可执行的训练目标,并强调在回答中进行来源标注,提升可核验性与可追责性。第一阶段着眼于语言适应,通过英地语翻译类材料建立基本双语对应关系,为后续训练奠定语言基础。第二阶段聚焦英语环境下的“诚信对话”,以带有明确资料编号与引用提示的对话数据训练模型,要求回答严格限定在提供的资料范围内,并在输出中标注来源。第三阶段将诚信能力扩展至双语训练,通过设置印地语材料占比更高的训练配比,加速印地语表达与理解能力,同时保持英语能力稳定,并观察到来源标注等规范可在两种语言间迁移。第四阶段引入更精细的策略优化,通过多维度打分与奖惩机制,强化“准确、可溯源、表达清晰”的回答倾向,并对“虚构引用”“不存在的资料编号”等行为施加强惩罚。 研究团队在不同规模与不同架构的多种模型上进行测试,参数规模覆盖从较小到中等规模的区间。其报告的结果显示,经过关键阶段训练后,部分模型在限定资料对话的评测中将“编造率”压至零,并能稳定生成带有来源指引的回答。这意味着在特定设定下,系统不仅追求“答对”,还在机制上强调“可被验证”。 (对策)业内人士指出,治理“幻觉”不能仅依赖单一技巧,而需形成“数据—训练目标—评测—部署约束”闭环:一是以“证据驱动”的对话数据设计替代单纯的问答堆叠,把引用标注、资料边界、拒答机制纳入样本规范;二是在训练目标上提高对“事实一致性、引用正确性”的权重,并建立对虚构来源的显式惩罚;三是完善评测体系,将“是否可追溯、是否越界补充、是否误引错引”纳入指标,而不仅看流畅度;四是在实际部署中对高风险领域实行“检索增强+来源展示+人工复核”的组合策略,避免系统在缺乏证据时进行自由发挥。 (前景)从应用视角看,可溯源回答将显著降低用户核验成本,提升人机协作效率,尤其在知识密集型行业更具价值。但也应看到,所谓“零编造”通常建立在“给定资料、限定范围、特定评测”条件之上,能否在开放域、多轮对话、跨任务场景保持稳定表现,仍需更大规模验证。下一步的发展重点可能集中在三上:其一,将可溯源机制与实时检索、结构化知识库深度结合,形成端到端的证据链;其二,推动多语言尤其是区域语言的高质量可溯源数据建设,缩小不同语言可靠性差距;其三,面向医疗、法律等领域建立更严格的行业评测与合规框架,使“能引用、引用对、引用全”成为可量化、可审计的标准能力。

在追求技术创新的同时确保信息真实性至关重要。这项研究不仅提供了解决AI"幻觉"的技术方案,更揭示了科技发展需要与伦理建设并行的深刻道理。当AI系统能像学者一样严谨引证——才能真正建立起人机互信——推动智能时代的文明进步。