把时间拨回到2022年，两位前谷歌的工程师创办了MatX这家公司。他们的目标很明确，就是要给大语言模型打造一款最适合的芯片。到了2027年，这家公司打算让自己的产品正式出货，并且还要找台积电来帮忙生产。 到了今年的2月24日，MatX放出了一个大消息，他们刚刚融到了5亿美元的钱，算下来大概是34亿元人民币。这一轮融资的领投方是由前OpenAI研究员Leopold Aschenbrenner创立的Situational Awareness公司，还有Jane Street也在里面。Andrej Karpathy、Alchip和Marvell这些供应链上的大佬也都投了钱。 现在，MatX的团队规模已经发展到了差不多100个人。Andrej Karpathy在社交媒体上分享了他为什么要投这家公司的看法。他觉得现在token的需求爆炸式增长，这给底层的内存和计算资源配置提供了一个大机会。最麻烦的是受限于制造工艺，内存池被分成了两个截然不同的部分：一个是速度快但容量小的片上SRAM，另一个是容量大但速度慢的片外DRAM。 为了解决这个问题，MatX的CEO Reiner Pope提出了一个不一样的思路。他说我们可以在同一个产品里同时搞定这两样东西，这样出来的产品肯定更好用。这个方案不仅有足够的SRAM和互连带宽支持权重存储在SRAM里，还能保证FLOPS/mm2是最高的。 经过测试显示，MatX的这款芯片在性能上有很大优势。如果按照每平方毫米的计算性能来算的话，它的规划芯片性能是能超过英伟达马上要推出的Rubin Ultra的。据透露这家公司目前的估值已经达到了数十亿美元级别。 这款名叫MatX One的芯片主打高吞吐量和低延迟。它基于可分割的脉动阵列设计思路，既能兼顾大型阵列的能效和面积效率，又能让小型矩阵的利用率提上来。芯片还结合了SRAM优先设计的低延迟优势和HBM的长上下文支持能力。 官方数据显示这个AI芯片每秒能输出超过2000个token，横向扩展互连能力还能支持一个包含几十万张芯片的大集群。目前市面上的AI芯片要么是用HBM来处理训练需求，要么是用SRAM来应付推理需求。而MatX的立场就是两者兼顾，而且结果会更好。 面对不同的架构细节和数值计算问题，如何设计出最优的物理基础架构并合理分配资源以达到最佳的吞吐比、延迟比和成本比，这被认为是当今最具吸引力且回报最高的难题之一。“这一切都是为了快速、低成本地获取大量token。”Karpathy在信里写道。 现在的主流阵营是英伟达的HBM优先阵营和Cerebras的SRAM优先阵营。“最难同时实现的就是在紧凑的智能体循环中对长token上下文进行推理解码。”Karpathy认为这也是目前两大阵营最难跨越的障碍之一。 因为这个解决方案太有吸引力了，所以MatX给用户的承诺是一年内完成流片工作。这家新晋的AI芯片独角兽公司预计今年就能完成芯片的最终设计工作，并且已经打算找台积电来合作生产这个产品。