最近,AI跟Token这俩词儿火了,主要是因为相关部门把Token给翻成了词元,这就引得大伙儿讨论了起来。其实Token也就是大模型处理语言时用的最小单位。大模型不像人那样直接看懂一句话,它得先把句子拆成一小块一小块,把这些部分转成数字,才能接着算。拆出来的这些小单位,就是Token。跟大模型聊天花的Token本来没多少,还挺便宜的。不过现在大家搞什么“养龙虾”、搞开发,消耗的Token一下子就多了,钱袋子就变得紧巴巴了。以前是坐别人车搭便车,现在就相当于自己买了车,得自己掏钱加油跑业务。 Token为啥这么重要?它不光是处理文本的基本单位,还是算账的单位。用得越多说明AI用得越频繁,产业也就商业化了。其实Token就是数据、算法、算力这三大家伙儿在物理世界和数字世界碰头的通用货币。拿做饭来打比方,数据训练像备菜,食材得切成统一大小的丁;算法像厨艺,厨艺高了做得菜好吃;算力像煤气,火越大费用越高。 这么看,数据好不好、算法优不优、算力强不强,直接决定了Token的生产效率和成本高低。也就是看一个企业、一个国家在AI时代能不能行。俗话说“AI的尽头是算力”,现在就得说“算力的尽头是Token”。 看看今年三月的数据,中国AI大模型的周Token调用量已经连续三周超过美国了。国际开发者往中国的大模型发请求,请求顺着光纤传到中国数据中心芯片集群上干活儿的时候,电就从中国电网流进了芯片里。推理完了结果传回去,这时候中国的电力就以Token的形式送到了别的国家用户手里。 这种效率传统电力出口根本赶不上。而且跟欧美比起来中国电价低好多。中国厂商一直在算法和成本上下功夫。只要电力越来越贵成了欧美发展AI的绊脚石,中国靠着基础设施完善、绿色发展等战略安排,就稳稳站在那儿了。 在大家都在抢算力就是抢国力的背景下,戏码才刚开始。咱们得把更多精力投到技术研发和产业协同里去,多搞点突破创新才能掌握更多主动权。