问题——节日场景出现不当内容,用户体验受损。 据当事人介绍,其除夕尝试下载使用腾讯元宝,输入“根据律师行业特点制作朋友圈拜年图片”等指令,并在多轮调整后对生成效果表示不满。随后生成的海报在祝福语位置出现不文明用语,造成强烈不适。当事人第一时间向平台反馈并留下联系方式。对应的情况经媒体报道后,迅速在社交平台引发讨论,一些网友将其归因为生成式应用“偶发失误”,也有人担忧此类输出在节庆传播场景中容易被放大并造成二次传播。 原因——多轮交互叠加语境偏移,安全约束可能被“穿透”。 腾讯上表示,经核实属于模型在处理多轮对话时的异常结果,并已紧急校正。业内人士指出,生成式产品在连续对话中会综合用户输入、历史语境与系统策略作出回应。当用户在交流中出现情绪化表达、否定性评价或模糊指令时,若语境理解发生偏移,或安全策略对“隐性辱骂”“谐音变体”“遮挡符号”等识别不足,就可能出现不符合预期的输出。尤其在“图文合成”场景中,文字往往以渲染方式嵌入图片,若上线前的敏感词检测、字符变体识别、最终成品审核链路不够完备,风险会更隐蔽。 影响——从个体不适扩展为公共传播风险,倒逼产品治理升级。 春节拜年海报具有强社交传播属性,一旦出现不当内容,既伤害用户感受,也可能对平台品牌形象造成冲击,并诱发“截图扩散”“二次加工”带来的更大传播风险。更不容忽视的是,这并非个案。此前有用户反映在代码辅助等功能中遭遇带攻击性的回复,平台同样解释为小概率异常输出,并表示与用户操作无关、非人工回复。连续事件表明,生成式产品在真实复杂语境下的稳定性、边界控制和应急处置能力,仍是用户最直观的信任基座。 对策——以“技术约束+流程把关+快速响应”构建闭环治理。 一是完善多轮对话安全机制。对涉及辱骂、歧视、威胁等内容建立更严格的拒答与改写策略,提升对变体词、隐晦表达的识别能力,并针对高传播场景(节日海报、公开文案、群发素材)设置更高安全阈值。 二是强化“生成后检测”与成品审核。对最终输出的图片文案进行二次扫描和风险分级,必要时引入延迟发布、提示确认或局部重生成功能,避免不当内容直接落地。 三是提升用户侧可控性。提供明确的风格选项与禁用词设置,增加一键举报、日志上传、追踪回访机制,缩短从反馈到修复的周期,并向用户透明说明处理结果。 四是建立常态化评测体系。针对节庆祝福、教育、政务、金融等敏感或高影响场景,开展红队测试和压力测试,将“偶发异常”纳入可量化指标,推动迭代优化。 前景——生成式应用加速普及,安全与质量将成为核心竞争力。 随着生成式技术在内容创作、办公辅助等领域不断渗透,公众对“准确、得体、可控”的期待同步提高。未来行业竞争不仅在功能丰富度,更在安全治理能力、场景适配能力与责任响应速度。对企业而言,需要将内容安全从“补丁式修复”升级为“全链路设计”,把风险控制前置到数据清洗、模型训练、上线评测与运营监测各环节。对监管与行业组织而言,也有必要推动风险分级、评测基准、标识提示与未成年人保护等制度化建设,形成可落地的标准与共治格局。
智能技术的快速发展在为生活带来便利的同时,也暴露出技术与伦理协同发展的重要性。此次事件不仅是对单个企业的警示,更是对整个行业如何平衡创新与规范的深刻拷问。唯有将用户体验置于技术演进的核心,才能真正实现科技向善。建立健全的技术伦理框架和容错机制,将成为智能产业可持续发展的关键。