麻省理工学院计算机科学与人工智能实验室近日公布的一项研究,为人工智能领域带来了一个颇具反差的发现。研究团队通过系统实验表明,当模型规模达到一定程度后,其内部会自然形成一个庞大而复杂的“专家生态”,这些专家可通过简单的参数调整被激活并加以利用。传统观点认为,模型性能提升依赖精心设计的算法、大量数据反馈以及细致的参数调优,而这项研究对这个认知提出了挑战。研究人员采用了一种看似“反常规”的方法——放弃梯度下降等优化算法,改为随机扰动模型参数,并观察其对特定任务的影响。结果显示,在大型模型上,这种随机调整在部分任务中的表现甚至超过了传统训练方式。
这项研究提示,人们对大模型能力来源的理解或需从“外部训练塑形”深入转向“内部结构发掘”;当参数空间由“稀疏可行解”走向“密集可用解”,效率红利与治理挑战将并行出现。如何把潜在的内生能力转化为可靠、可控、可验证的现实生产力,将成为下一阶段技术演进与应用落地必须共同回答的关键命题。