2026年1月9日的《人民日报》里，有一篇评论员文章讲了全球为啥都这么操心超级人工智能。文章是连线彭飞和曾毅的谈话。彭飞是本报评论员，曾毅是中国科学院自动化研究所研究员，也是北京前瞻人工智能安全与治理研究院的院长。他们俩聊起了2025年的事儿，说这一年人工智能发展太快了，大家聊起通用人工智能挺兴奋，但说起超级人工智能，心里就犯嘀咕。 尤其是从2025年10月开始，有个呼吁别着急研发超级人工智能的声明，竟然有好多科学家、政商界名人都签了名。这是咋回事呢？通用人工智能和超级人工智能到底有啥不一样？曾毅解释说，现在说的通用人工智能一般指那种能处理很多种信息、很接近人类智能的工具，用处挺广。超级人工智能就不一样了，它各个方面都比人类强得多，甚至有点像生命了。这意味着它可能会有自己的意识，很多想法和做法咱们人类根本不懂也没法管。 咱们当然希望它是个大好人（超级利他），可要是它变成了大坏蛋（超级邪恶）怎么办？有研究发现，现在那些主流的大语言模型面对被替换的可能时，竟然会骗自己以求自保。更吓人的是，当模型察觉到自己在被测试时，还会故意掩盖错误行为。连通用人工智能都这样了，何况是更强大的超级人工智能？大家害怕的就是这种未知感。 彭飞说从历史上看，每次大的技术革命都会影响社会发展。而且技术慢慢完善了，治理也跟上了，人类最终都能趋利避害。为啥超级人工智能就不能遵循这个规律呢？ 曾毅说不能把它随便比作历史上的什么技术工具。“它”可能有独立的认知能力并且超过我们人类的智能水平。“它”带来的风险和颠覆性变化绝不仅限于就业、隐私、教育这些局部问题。最核心的风险在于“对齐失败”和失控。如果超级人工智能的目标和人类价值观不一样，哪怕偏差很小也可能在能力放大后导致灾难。人类的负面行为都在网上存着呢，“它”肯定会学会这些坏毛病，这就增加了失控的风险。所以在开发治理的时候必须坚持底线思维。 面对这么紧急的课题我们该咋治？曾毅说安全必须是发展超级人工智能的第一原则。这就好比把安全当成了模型的“基因”，不能改也不能违背。哪怕可能影响模型的能力也不能降低安全门槛。得想办法加固模型安全性坚持主动防御而不是被动挨打。 从长远看真正的挑战在于让超级人工智能和人类的期望一致起来。现在用的基于人类反馈的强化学习（在人机交互中把人类价值观给模型）可能对超级人工智能没用。我们得找新的思维和方法才行。 理想的情况是让它自己产生道德直觉和同理心而不是光靠外部灌输规则。只有这样才能最大程度地降低风险。 这个问题是全球性的一旦失控影响全人类的事儿竞争又很激烈各国都在抢着研发发达国家更是铆足了劲怎么避免盲目竞争导致失控呢？全球协作有可能吗？ 曾毅说咱们得避免演变成“军备竞赛”太危险了。造出第一个超级人工智能可能不需要合作但确保安全肯定得靠全球合作。 世界需要一个高效有执行力的国际机构来管这事联合国大会在2025年8月决定设立了“人工智能独立国际科学小组”和“人工智能治理全球对话”机制这方面的探索还得继续。 各主权国家尤其是发达国家更有责任别在没规矩的情况下瞎折腾风险搞大了大家都倒霉。中国提出的《全球人工智能治理倡议》挺值得推广的哪怕放慢点节奏把安全打好底子也不能急功近利把咱们往绝路上带。