2024年初，我国平均每天的Tokens消耗已经达到了1000亿，而到了2026年2月，这个数字就飙涨到了180万亿。这种爆发式增长直接推高了推理芯片的市场需求，预计到2031年，全球AI推理芯片市场规模能达到690.1亿美元。LPU这种新芯片正是为了解决大模型推理速度慢的问题而生的，它的核心架构叫做TSP，把经典的五级流水线拆开，让指令执行的时间变得确定，编译器就能直接控制芯片底层状态。这种设计带来了更快的运算性能和内存带宽，整型和浮点运算都很优秀。 为了提高效率，LPU还采用了单节点Fullmesh和单机柜Dragonfly的网络拓扑结构。在实际运行中，90%以上的推理时间都花在Decode这个阶段，这个阶段对内存带宽要求很高。传统的内存介质已经不够用了，LPU就给它配备了容量高达230MB的SRAM，带来了确定性的时延优势。内存带宽的瓶颈解决了，大模型的推理延迟自然就大幅缩短。 目前Groq推出的相关模型吞吐量已经超过350Token/s，比其他厂商强太多。Groq作为先行者已经量产了第二代LPU，还跟英伟达达成了合作协议。国内的元川微也推出了面向多场景的LPU+产品。随着LPU在产业端的普及，推理芯片市场的渗透速度会越来越快。大家都在等2026年这场变革彻底把AI行业从训练推进到推理这个下半场。