问题——合成技术滥用叠加流量传播,诈骗风险呈现“低门槛、强迷惑、易扩散”特征。近期,网络平台上围绕“靳东弹唱”等内容的二次剪辑、混剪视频引发关注。一些视频被包装成“治愈”“反差感”等内容快速走红,也让合成内容的边界再度成为讨论焦点。靳东在全国两会期间曾表示自己正在学习涉及的技术,同时提醒AI换脸不只用于内容制作,更可能被用于网络诈骗,性质严重,治理亟须加强。公众人物的提醒与现实案例相互印证:不法分子利用换脸、拟声等手段冒充名人或熟人,实施情感诱导、投资诈骗,以高度逼真的视听材料降低受害者警惕。 原因——技术工具易得、违法成本偏低、平台审核与算法传播存在滞后,叠加部分群体数字素养不足。一是生成与合成工具普及迅速、门槛持续降低,部分团伙借助成套软件和模板实现批量伪造,形成“脚本—合成—引流—转化”的链条。二是违法收益与处罚力度不匹配,侵权、诈骗与数据滥用交织,加之跨平台、跨地域取证难,给侦办和追责带来挑战。三是平台内容生态对情绪化、强刺激内容更敏感,算法倾向推送更易引发互动的素材,客观上放大了“猎奇”“甜宠”“情感陪伴”等内容的传播,而风险提示等严肃信息容易被娱乐化表达淹没。四是部分中老年群体对合成内容识别能力相对不足,同时存在情感陪伴、社交连接等需求,更容易被“熟悉面孔+亲密话术”击中心理防线。 影响——个人财产安全与人格权益受损,社会信任成本上升,公共议题传播被娱乐化稀释。从个体层面看,换脸拟声带来的“高仿真”欺骗可能造成直接经济损失,并引发长期心理压力;对被冒充者而言,肖像权、名誉权、声音权益等受侵害,澄清与维权成本高。对社会层面而言,伪造内容增多会削弱公众对影像证据与网络信息的信任,形成“看见也不敢信”的困境。更值得警惕的是,部分严肃公共议题在流量场中被切割、改写为娱乐符号,公共讨论容易停留在情绪消费与人设围观,风险提示与治理倡议反而难以触达真正需要被提醒的人群,导致防范信息“被埋没、难到达”。 对策——以法治为牵引,压实平台责任,完善技术治理与公众教育的协同体系。在法律层面,应深入细化合成内容标识、数据来源合规、深度伪造用途边界等规则,加大对组织化、产业化制假售假与诈骗行为的惩处力度,提高侵权与违法成本,形成有效震慑。在平台层面,要压实主体责任:对疑似深度合成内容强化识别与标注机制,完善“显著提示+来源说明+一键举报+快速处置”的闭环;对利用名人形象引流、诱导交易的账号与链路加强风控与资金拦截;对面向中老年群体的高风险话术、外链与私域导流设置更严格限制。在技术层面,推动可信水印、内容指纹、溯源验证等手段应用,促进跨平台共享风险样本与黑产特征,提升联防联控效率。在社会层面,加强面向中老年群体的反诈宣传与数字素养培训,鼓励家庭成员与社区组织建立陪伴与提醒机制,帮助其形成“凡涉转账先核实、遇到视频也要二次验证”的基本习惯。 前景——从“被动辟谣”走向“源头治理”,在创新与安全之间建立可持续规则。合成技术本身有广泛的正当应用,但外溢风险要求治理同步升级。面向未来,应推动形成“技术可用、边界清晰、责任可追、受害可救济”的治理框架:监管规则更易落地,平台治理更精细,执法协作更高效,公众识别能力持续提升。只有让深度合成内容“必须标识、能够溯源、违规必究”,才能在保障创新活力的同时守住安全底线,维护清朗网络空间与社会基本信任。
网络空间的信任一旦被反复透支,受损的不只是个体权益,也是社会运转的基础。面对换脸拟声等新型风险,既不能因娱乐化传播而放松警惕,也不必因技术进步而陷入恐慌。把合成内容纳入清晰可执行的规则体系,把平台责任落实到审核、标注与处置环节,把防骗知识送到重点人群身边,才能让技术更好服务生活,也让每一次“点赞”不再成为违法者的助推器。