最近有个消息让人有点傻眼，主流的AI聊天系统居然不太会分辨那些伪造的视频。现在AI生成内容，尤其是视频技术进步飞快，搞得大家连自己看的内容真假都拿不准了。不过有个新研究揭示了个大问题，不仅是人类不会看，这些AI自己也变得很脆弱，甚至分不清同家公司做出来的假视频。媒体分析机构Newsguard最近做了个测试，直接把这个问题给亮出来了。他们找了几家先进的视频生成模型，做了一些涉及公共议题的假视频片段，然后拿去给三款市场主流的人工智能对话系统测试识别能力。结果嘛，挺让人失望的：这些系统整体准确率都不咋地，最高的错误率达到了95%，表现最好的那个失误比例也快接近八成。 研究发现，有些对话系统跟被测试的假视频其实是同一家公司做的不同产品线。这就很有意思了，说明技术生态里面生成内容和鉴别内容可能有点脱节。虽然生成技术在疯狂发展，但是安全方面好像没跟上节奏，形成一个闭环的解决方案还很欠缺。为了应对这种信任危机，现在行业里都开始用各种内容标识技术了。比如在生成视频里加入动态水印或者符合C2PA标准的元数据。 但是这次测试发现这些方法也不太靠谱。一方面水印容易被去掉；另一方面元数据可能因为复制操作就弄丢了。更尴尬的是，有些对话系统看到明明有元数据的视频还说没看到。 更让人担心的是当面对高逼真度假视频时，有些AI系统不仅判断错了还特别自信地给自己找借口或者背书这种“自信的误判”要是发生在真实场景里很可能会帮倒忙放大错误信息的误导效果。 这次测试涉及到很多敏感领域比如国际事务、公共安全什么的，说明问题很严重。AI聊天系统本来是重要的信息获取接口，现在鉴别能力缺失可能会影响大家的认知和社会心态稳定。 这个测试像是一面镜子照出了AI技术发展不平衡带来的深层挑战。告诉业界在追求模型突破时也得重视安全和伦理问题。 未来要让生成和鉴别技术一起进化建立更靠谱的内容真实性保障体系还得靠企业、机构和监管方一起努力才行。技术发展得好还得看双刃剑效应怎么制衡才行。