最近有个事情挺吓人的，一个新冒出来的账号，用 AI 给咱们做了个视频，内容是纽约人骂曼达尼。这事儿把人吓了一跳：原来不光能冒充政治家，还能冒充老百姓。这个账号在 TikTok、Twitter 和 Instagram 上都有活动，它们用着相似的头像，自称是反对曼达尼的市民。最近它们发了一些视频，有人骂曼达尼是反美的、要加税、还有租金和交通上的虚假承诺。这些视频让人感觉像在看纽约，好多人都讲着各种口音。这些视频虽然没大火起来，但是在社交平台上还是有不少人看了。 Fast Company 联系了 Instagram 和 TikTok 这两个页面，但是到现在还没收到回复呢。 GetReal Security 的首席调查官埃曼纽尔·萨利巴说，上一次选举的时候，很多团队会花钱雇网红帮他们传播信息。但是现在用 GenAI 技术就够了。她还补充说，现在的 AI 技术进步很大，连竞选团队和活动家都能用文本转视频技术弄出超逼真的视频。这个过程完全是自动化的，一般人根本看不出来。这样的结果就是假草根运动变得更容易了。Reality Defender 的首席技术官亚历克斯·莱斯尔提到说：“以前搞这种假新闻很费劲，现在不一样了，”他说，“现在我能用 LLM 定义一个情感和信息，然后让它帮我写台词。而且我能生成很多个不同的版本，速度非常快。” OpenAI 做的 Sora 水印在这段视频里就被发现了。Siwei Lyu 教授说，这个线索很重要。现实卫士公司用它们的 RealScan 平台分析了几段视频，发现它们被篡改的概率很高。比如说有一段视频有个戴蓝帽子的男人在大喊大叫：“你们都被Mamdani骗了。”根据现实卫士公司的分析，这个视频有 99% 的可能是深度伪造的。 深度伪造检测确实挺难的，因为没法百分百确认一个内容是由 AI 生成还是真人做出来的。不过针对这个反对Mamdani 的视频来说，证据很充分了。比如有些视频里有物体背景被发现了问题。现实卫士公司评估出来一段视频有99%可能性是深度伪造生成的东西，但是也不可能达到100%。 Siwei Lyu 教授提到：“这些视频展示了一种错觉，让人以为大家对某个问题都有广泛支持或者反对意见。”他还说：“验证这些人是否真的存在就更难了。” 这次深度伪造技术再加上 LLM 技术给政治操作者们提供了巨大帮助。他们不仅能制造出大量不同版本的剧本还能生成带有说服力声音的视频来传播自己想要表达的东西。“这个过程把力量放大了很多倍”，亚历克斯·莱斯尔补充道。“以前需要很多人花几个小时才能做到的事现在我自己就能搞定”，他说道。 其实这种制造假消息的方式早在2017年就有人用过了，当时是机器人向联邦通信委员会提交了很多评论意见。“但是这次和以往不同”，GetReal Security 的埃曼纽尔·萨利巴解释道，“现在生成性人工智能让制造假消息变得更容易、成本更低。” 现在大家看到这种大规模伪装运动应该清醒一点了。