真没想到啊，就在3月16日这天，特斯拉CEO马斯克竟然在社交平台公开点赞了一款中国的AI产品。这家名叫月之暗面的团队，研发的Kimi大模型引起了大家的关注。而在论文的作者名单上，打头阵的竟然是一个只有17岁的高中生！这小伙子叫陈广宇，广东深圳人。他和另外两位核心人员张宇、苏剑林并列作为第一作者，其余34位作者就没有这个头衔了。 要知道，张宇可是Kimi高效架构的核心研发人员，苏剑林还提出了旋转位置编码RoPE呢。更让人惊讶的是，陈广宇接触AI才一年时间！最开始的时候，他自己找资料读论文、学GitHub开源项目，这才快速补上了知识短板。去年暑假，他去了趟旧金山实习了7周，回来以后就在11月份加入了Kimi团队干活。 这次论文发出来后，陈广宇发朋友圈复盘的时候，特意提到了这三位同等贡献的伙伴，还有负责模型扩展和基础设施搭建的同事。他还特别谦虚地说这是团队的成果，别给我瞎捧神。这次Kimi提出的注意力残差机制Attention Residuals，可以说是给Transformer换了个脑子。他们用了一种全新的方法把传统残差连接给重构了一下，这相当于给AI装了个智能筛选器。每一层都能动态筛选之前有用的信息、去掉多余的噪音，这样效率就提高了不少。