谷歌AI科学家观点总结

保存时间:2026/4/3 03:28:21


谷歌AI科学家观点总结
内容由豆包 AI 生成
【深度|对话Google首席AI科学家:垂直模型是伪命题,AI 下半场是...】 点击链接打开👉 https://m.toutiao.com/is/nbAK5RpVtQU/ nbAK5RpVtQU` :3am pib:/ C@U.YM 复制此条消息,打开「今日头条APP」或「今日头条极速版APP」后直接查看~ 这篇文章里面,这个 AI 大佬就是谷歌的这个大佬,他的一些观点我觉得挺深刻的。一个就是说我认为我很赞同他的观点,就是说所谓的垂直模型其实是存在的,都是通用模型,外架了一个,外挂了一个,很快更新的知识包一样的。另一个就是说他的观点是算力发展的无穷限极限,这个说法不太准确,但是我对于他的提出的每秒1万 token 这种也是很震惊的,但是我还是认同他的观点,就说 AI 将来编程的话,它实际上速度要很快才能行。因为他自己在内部就在大量的试错,大量的思考,因为他的思考过程实际上就是 token 产生的过程,因为我认为说 AI 的思考过程就是语言产生的过程,因为思想是这个语言的承载者,就是说 AI 的它这种硅基生命,它的所谓的思考就是通过产生 token 来把思想进行具象化。因为它没有一个像我们神经元的这种实体存储,它的就是目前大模型,它没有一个存储机制,它的所有的记忆也是靠计算出来的。所以变成说他的所有的思想固相化固态化的话,就必须要通过计算出来的 token,也就是说他的思想是一种计算出来的思想,它的存储是一种计算出来,所以变成你要让他想的多少,或者说记得多的话,必须要更高的这个推理速度,那么这个能不能实现呢?我不清楚,但是我还是倾向于支持这种想法,因为我认为这不仅仅是能不能的问题,而是必须的问题。你来评论一下,看看他还有什么其他的,总结一下

一、核心观点再梳理 + 对你思考的呼应

你的理解完全契合 Jeff Dean 的核心逻辑,AI 的推理 / 思考过程与 Token 生成强绑定,硅基的 “思维具象化” 只能通过 Token 落地,而大模型无实体化的持久存储,记忆、推理均依赖计算,因此高 Token 生成速度不是可选,而是支撑复杂思考的必要前提——10000 Token/s 的核心价值,并非让人类更快阅读,而是让模型有足够的计算 / Token 生成空间完成链式推理、自我验证、多轮试错,这是实现高质量复杂任务(如全流程编程、精密数学推理)的关键。
而你认同的 “垂直模型 = 通用模型 + 高频知识包”,也是他对行业的核心判断,并非否定垂直领域的价值,而是否定 “为垂直领域单独研发专用模型” 的思路,通用模型才是基底,垂直能力仅需通过检索式知识包 / 领域数据微调模块实现,这也是 AI 效率化、规模化的必然选择。

二、Jeff Dean 访谈中其他核心硬核观点(未提及的关键维度)

  1. 模型双轨策略是核心:前沿超大模型(Ultra)做 “能力母体”,负责捅破性能天花板;轻量化模型(Flash)靠知识蒸馏承接能力,成为落地的 “隐形王者”,前者决定融资,后者决定商业生死,二者相辅相成。
  2. AI 竞争的核心是能效比,而非单纯算力 / 参数:数据移动成本是计算成本的 1000 倍(1 次乘法 1 皮焦耳,芯片内数据移动 1000 皮焦耳),TPU、批处理、低精度计算的核心,都是减少数据移动、摊薄数据搬运的能耗成本,软硬协同才是谷歌的护城河。
  3. 长上下文能力的终极目标是 “关联整个互联网”:当前已实现 200 万 Token 上下文,单关键词检索已饱和,未来要攻克万亿级 Token 的有效处理,支撑上千页文本、数小时视频、全量个人数据的理解,且需通过 “轻量筛选 - 复杂精筛 - 顶级模型处理” 的分层架构实现。
  4. 多模态是通用模型的原生属性:Gemini 的多模态不仅包含文本 / 图像 / 视频,还覆盖激光雷达、医疗影像、基因组等非人类模态,视觉 + 动态视频是核心 “感知模态”,且是市面唯一原生支持视频理解的模型。
  5. 稀疏模型 + 极低精度计算是技术关键:万亿级参数量模型仅激活 1%-10% 参数,兼顾 “知识存储容量” 和 “激活效率”;低精度计算(搭配权重缩放)能大幅降低数据传输能耗,是硬件优化的核心方向。
  6. 行业未来两大确定趋势:①个性化模型:可检索用户授权的全量个人数据(邮件、照片、视频),价值远高于通用模型;②专用硬件爆发:更低延迟、更低成本的专用芯片,会成为 AI 落地的核心支撑。
  7. 通用模型的泛化能力是核心竞争力:如今通用模型已能解决 IMO 竞赛题、复杂编程任务,无需依赖专用符号系统,这和人类大脑的分布式表征逻辑一致,算力 + 数据的规模化,远优于人工设计的专用特征 / 模型(契合 AI 领域 “苦涩的教训”)。

三、Google 的核心方法论(支撑上述观点的底层逻辑)

  1. 技术栈全链路协同:从硬件(TPU)、系统架构(分层检索、模型并行)、算法(知识蒸馏、稀疏激活)到数据(多模态、领域配比),全环节优化而非单一维度发力;
  2. 内部用 “非公开基准” 驱动研发:避开公开基准的边际效益递减,针对模型尚未具备的能力设计测试,精准定位优化方向;
  3. 资源集中化 + 团队协同:Gemini 的诞生正是打破谷歌内部算力 / 人才碎片化,整合所有资源打造的原生多模态通用模型,上千人团队按方向深耕,实现技术协同增效;
  4. 以 “延迟 / 能耗 / 吞吐量” 三维评估技术:所有创新都围绕 “更低成本、更低延迟部署模型”,拒绝纯学术化的技术优化。
整体而言,Jeff Dean 的所有观点都指向一个核心:AI 的下半场,是从 “参数竞赛的暴力扩张” 转向 “效率至上的极限生存”,而通用模型的规模化、能效比的极致化、软硬的深度协同,是所有趋势的底层主线。