AI涌现科学
这篇文章是一篇围绕“涌现”展开的长篇科普/演讲整理,核心是试图用复杂系统、信息论和因果分析来解释 AI“思考”背后的科学逻辑。
文章从“涌现”这个概念的直觉出发,先讨论了鸟群、蚁群、神经元网络、木星大红斑等现象,说明宏观层面的秩序并不是简单把微观个体相加得到的,而是在局部交互中“长出来”的。作者认为,理解生命、意识和 AI 时,涌现是一个很重要的视角,因为它能帮助我们从系统本身而不是某种神秘解释出发。
在 AI 部分,文章把“大模型能力突然出现”的现象和“涌现能力”联系起来。意思是:模型规模、数据量和训练强度增加时,某些能力并不是线性增长,而是在跨过某个阈值后突然出现。作者借用了“More is Different”的思想,认为这说明“整体大于部分之和”这句朴素说法虽然有道理,但还不够精确,真正重要的是要说清楚,到底是整体的什么属性,超出了部分属性的简单相加。
为了把涌现变得可度量,文章引入了信息论。比如把鸟群看成一个复杂系统,单个个体的状态可以用熵来描述,而多个个体之间的共享信息可以用互信息和总相关性来衡量。这样一来,就可以用比较严格的方式去量化“系统内部到底整合了多少关联”。文章强调,信息论给了涌现一把可以跨系统使用的“尺子”。
但作者也指出,仅靠信息和相关性还不够。因为有些系统看起来很整齐,却并不是涌现,比如提前编排好的机器人集群表演;而鸟群的协调则是没有中心控制、依靠局部交互自然形成的。要分辨这两类“整齐”,还必须把因果关系带进来。文章因此进一步讨论了“因果涌现”视角:真正的涌现,不只是宏观上看到秩序,还要看这种秩序是否是系统内部因果结构自然生成的。
文中还给出一些生活化例子,比如感冒、机器故障等,说明宏观事件背后的原因不一定能在微观层面一眼看清,但这并不意味着没有因果,只是因果可能需要借助更合适的层次和框架去识别。由此,文章逐步把“涌现”从一个模糊的哲学词,变成一个可以在信息、统计和因果框架下讨论的科学问题。
整体来看,这篇文章的主线是:AI 的“思考”并不是孤立现象,而是复杂系统中涌现的一种特殊表现。要理解它,不能只看模型参数和结果,还要看系统内部的相互作用、信息结构和因果组织方式。