当前 AI 领域正处于 “伏打与麦克斯韦之间” 的阶段 —— 工程实践飞速推进，大模型等技术已展现惊人能力，但对其底层运作原理的理论理解仍存在巨大真空。麻省理工学院教授托马索・波焦（Tomaso Poggio）的研究，正试图为填补这一空白提供关键线索。
波焦团队提出的 “稀疏组合性”（sparse compositionality）是核心突破，其核心逻辑可概括为：
- 高效可计算的智能系统，必然由大量仅依赖少量变量的简单函数组合而成，这种结构能避免 “维度灾难”，让参数规模控制在非指数级。
- 深度神经网络的 “深度” 价值正在于此 —— 通过简单函数的重复组合，实现复杂任务的泛化能力，这与大脑新皮层的层级结构高度相似。
- 该原则已被严格证明：任何能在非指数时间内被图灵机计算的函数，都必然具备组合稀疏结构，这为 ChatGPT 等系统的有效性提供了理论支撑。
尽管已有初步探索，当前 AI 理论仍面临多重核心问题：
- 大脑是否遵循同样的组合稀疏原则？语言、数学等认知功能显露出组合特征，但进化古老的脑区（如基底节）是否适用尚无定论。
- 泛化能力的底层机制未完全破解：稀疏组合性虽能解释 “少参数何以泛化”，但大模型的过参数化与泛化的微妙平衡仍需更深入的数学阐释。
- 意识与认知的本质差异：AI 仅能实现函数映射，而人类主观体验（感质）是否属于图灵可计算范畴，仍是理论禁区。
关于理论突破的主体，存在两种关键可能性：
- 人类研究者的持续攻坚：以波焦为代表的学者，正通过融合计算机科学与神经科学，构建 “智能的基本原则” 体系（类似分子生物学的核心原理，而非电磁学的完美方程）。其研究已揭示稀疏组合性与流形学习的本质等价性，为统一理论奠定基础。
- 机器自主生成理论：波焦提出一种极端可能 —— 未来大模型或其继任者，可能自主发展出人类无法理解的理论体系。就像当前 Transformer 通过自回归训练，在局部子任务学习中自发涌现出强大能力，未来系统或许能突破人类认知局限，完成理论闭环。
无论突破来自人类还是机器，理论的成熟都将像电磁学定律那样，不仅解释现有技术，更会催生全新的 AI 形态与应用场景。而当下，弥合工程实践与理论认知的鸿沟，正是 AI 领域最核心的科学挑战。
你是否想进一步了解 “稀疏组合性” 在具体 AI 模型（如 Transformer）中的应用细节？