最近，DeepSeek和一些顶尖大学一起搞了个大动作，弄出了个DualPath的新架构，专门用来解决大规模语言模型（LLM）在推理时遇到的卡顿问题。搞研究的发现，在干那种编程序的活儿时，机器平均要忙活157轮，上下文的字数加起来能到32.7K。可这一轮轮加的东西才429个，就是那种“上下文很长，每次只加一点点”的麻烦事。这么一来，怎么把那叫KV-Cache的东西高效加载进来，就成了决定机器跑不跑得动的大问题。 测了一下数据，现在的架构在用到带宽上太不平衡了：负责把信息填进缓存的那一套（预填充引擎）经常累得喘不过气来，带宽全满了；可负责往外吐结果的那一套（解码引擎），却有超过90%的资源都闲着没事干。这就是计算和存储能力没跟上的节奏，拿英伟达的GPU来说吧，从Ampere升级到Blackwell，算力翻了14.4倍，但用来存东西的带宽和显存容量才涨了不到3倍。这种不对称的发展状态，让原来那种先把数据填满再慢慢解码的老方法，很难再继续提网速。 为了把这一关给闯过去，团队琢磨了几招狠招：第一是管住数据怎么传，通过把缓存切成大小不同的块去传，让网络那点开销少了60%；第二是把关键的路隔开，用个中间的网络控制器和虚拟通道来保证重要任务不受加载数据的打扰；第三是让系统自己看情况调节，盯着GPU的忙闲、网络的好坏和活儿的大小，自动去调整预填充和解码这两部分的资源占比。 在那个6600亿参数的DeepSeek-V3.2模型上试了一把，在线上的场景里智能体干活儿的速度快了快2倍，而在那种离线大批处理的模式下，也能达到1.87倍的提速。最让人眼馋的是在那种1152块GPU组成的大集群里测试的时候，从8个节点扩展到144个节点时，系统跑起来的效果达到了理论最大值的92%，而且延迟波动也就是在5%左右晃悠。要是在那种把44个预填充引擎和88个解码引擎配上的方案下跑，系统的吞吐量比原来的老底子足足高出了22倍。 这些成果不光是DeepSeek在LLM推理上的一次大胜利，也给以后的智能体怎么高效干活打下了底子。随着技术还在往前跑，咱们也盼着DualPath这个架构能在更多的地方显出本事来，带着整个行业一起往前冲。