我的征尘是星辰大海。。。
The dirt and dust from my pilgrimage forms oceans of stars...
-------当记忆的篇章变得零碎，当追忆的图片变得模糊，我们只能求助于数字存储的永恒的回忆
作者:黄教授
手机视频列表
给大模型做减法锁死8B模型
视频
音频
原始脚本
给大模型做减法，锁死8B参数，禁止背诵，逼出真正的智能。 在大模型狂飙突进的这几年，整个行业几乎陷入了同一个执念，参数越大，智能越高。 从7B到32B，从70B到千亿万亿，我们不断堆砌算力，扩充参数，把模型训练成一座存储了人类全部书籍、史料、论文百科的数字图书馆。 却很少有人停下来追问一句，这真的是智能吗？清华刘洋团队的医疗模型研究给了所有人一记清醒的耳光。 8B参数的小模型，在专业问诊场景中完胜32B64B乃至70B的超大模型。 这不是偶然，而是对行业路径的彻底颠覆。 我们一直追求的更大参数，从来不是智能的核心，只是用海量记忆伪装能力的捷径。 而真正的智能突破，从来不是做加法，而是给大模型做减法。 170B 大模型的真相，只是博学的书呆子，而非真正的聪明人。 我们惊叹于大模型的无所不知，它能背诵红楼梦全文，能复述人类历史的细枝末节，能说出上万部电影的剧情，能解答教科书里的各类习题。 但这种全能本质是参数堆砌带来的记忆能力，而非智能本身。 人类评判聪明从来不是看谁背的多，我们推崇的是举一反三。 3的泛化能力、一点就通的理解能力、无师自通的推理能力、面对未知问题的解决能力。 反观大模型，即便做到70B，依然会犯低级常识错误。 能解复杂高数题，却算不清生活里的简单账目。 懂海量医学知识，却不会一步步精准问诊。 通晓逻辑规则，却在简单因果推理中漏洞百出。 这就是大模型的书呆子困境，他把知识硬塞进参数里，靠记忆匹配给出答案，却没有真正学会思考。 从7B到70B，参数的成倍增长带来的是知识储量的线性提升，是输出稳定性的小幅优化，却没有让智能产生质的飞跃。 超过8B的参数，绝大多数都用来承载冗余的记忆，而非锻造核心的能力。 二，智能的阈值，8B 参数就够了。 多出来的全是冗余，从生物智能的维度对照，我们能更清晰的看清这个真相。 人类大脑负责高级认知的神经元约140亿，黑猩猩、海豚等高智商动物不足1亿，猫狗更是仅有千万级别。 而8B 参数的模型已经接近人类核心智能单元的规模。 跨 过了智能涌现的最小阈值。 这个阈值是智能与工具的分界线。 低于8B，模型更偏向模板匹配、简单记忆，无法完成连贯的多轮推理与策略规划。 达到8B，模型具备了抽象理解、逻辑推理、意图识别、泛化应用的核心能力，这才是真正意义上的智能。 行业的误区在于误以为跨过阈值后继续扩参就能让智能无限提升，事实恰恰相反，8B之后的参数增长几乎都用来填充数字硬盘。 把更多知识、更多文本、更多答案塞进模型里，智能在8B就已接近饱和，能力的上限从来不由参数决定。 三，减法训练，用反向蒸馏找到智能的最小必要参数及当下的大模型训练，是一场盲目的炼金术，我们投喂海量数据。 据不断扩充参数，看着能力偶然涌现，却不知道究竟是哪些数据，哪些参数催生了真正的智能。 黑河之下，我们只能靠堆参数、堆数据来赌能力，低效且盲目。 而给大模型做减法，就是打破黑河的关键，反向蒸馏，做减法排查。 以成熟的70B大模型为基础，反向剔除参数，删减训练任务，一步步观察模型的能力变化。 当某项核心智能消失的那一刻，就是找到了支撑该能力的最小必要参数集与最小训练任务集。 这个过程就是把能力和记忆彻底剥离，剔除的是用来背书、记答案的冗余参数，留下的是支撑推理、决策、泛化的核心能力参数。 我们会发现，支撑大模型所有核心智能的，不过是8B左右的核心参数，剩下的数十倍参数都是毫无意义的冗余记忆。 四，记忆机制，只能查不能背，逼模型长出真智能减法训练的核心，是堵死模型靠记忆伪装能力的捷径。 我们给模型定下铁律，锁死参数上限，禁止死机。 硬背，知识全部外质。 模型不再能把百科、病例、法条、答案塞进参数里，遇到未知问题不能靠调取记忆蒙混过关，只有两条路可选。 一是依靠自身的推理能力，独立拆解问题，推导答案。 二是通过检索外部知识库、经验库，精准找到所需信息并合理应用。 能推理是真聪明，会检索是真理解。 唯有靠这两种方式得出答案，才是模型真正具备了智能。 这种记忆训练彻底杜绝了模型成为书呆子的可能，强迫它把算力和参数用在锻造能力上，而非囤积知识上。 就像教育一个人，不是让他背完所有书，而是让他学会思考，学会查资料，学 学会解决问题。 五，下一代智能体，小模型加外部库，不是更大，而是更聪明。 清华8B医疗模型的成功已经验证了这套减法逻辑的可行性。 锁死小参数，剥离知识记忆，依托外部高质量经验库，用强化学习锻造核心决策能力，最终实现了对超大模型的超越。 这不是单一场景的特例，而是整个大模型行业的未来方向。 未来的智能体绝不会是参数无限膨胀的巨无霸，而是8B左右的轻量化核心模型，加可插拔的外部知识经验库。 小模型负责核心智能、推理、决策、泛化、理解，这是智能的大脑。 外部库负责知识存储、百科、案例、数据、经验，这是智能的图书馆。 这种架构彻底抛弃了参数及能力的错误认知，把训练的核心从堆参数、塞知识转向练方法、强能力。 它成本更低、迭代更快、可解释性更强、更贴近真实的生物智能，也更接近我们真正追求的通用智能。 给予大模型的发展走到了一个需要回归本质的拐点。 我们痴迷于更大的参数、更全的知识。 却忘了智能的核心从来不是记忆，而是思考。 不是背诵，而是推理。 不是囤积知识，而是运用知识解决问题。 给大模型做减法，锁死8B参数，禁止背诵，逼出真正的智能。 这不是对大模型的削弱，而是对智能的回归。 未来不属于更大的模型，而属于更聪明的模型。 不属于装满记忆的硬盘，而属于懂得思考的大脑。
修正脚本
给大模型做减法，锁死8B参数，禁止背诵，逼出真正的智能。 在大模型狂飙突进的这几年，整个行业几乎陷入了同一个执念，参数越大，智能越高。 从7B到32B，从70B到千亿万亿，我们不断堆砌算力，扩充参数，把模型训练成一座存储了人类全部书籍、史料、论文百科的数字图书馆。 却很少有人停下来追问一句，这真的是智能吗？清华刘洋团队的医疗模型研究给了所有人一记清醒的耳光。 8B参数的小模型，在专业问诊场景中完胜32B64B乃至70B的超大模型。 这不是偶然，而是对行业路径的彻底颠覆。 我们一直追求的更大参数，从来不是智能的核心，只是用海量记忆伪装能力的捷径。 而真正的智能突破，从来不是做加法，而是给大模型做减法。 170B 大模型的真相，只是博学的书呆子，而非真正的聪明人。 我们惊叹于大模型的无所不知，它能背诵红楼梦全文，能复述人类历史的细枝末节，能说出上万部电影的剧情，能解答教科书里的各类习题。 但这种全能本质是参数堆砌带来的记忆能力，而非智能本身。 人类评判聪明从来不是看谁背得多，我们推崇的是举一反三的泛化能力、一点就通的理解能力、无师自通的推理能力、面对未知问题的解决能力。 反观大模型，即便做到70B，依然会犯低级常识错误。 能解复杂高数题，却算不清生活里的简单账目。 懂海量医学知识，却不会一步步精准问诊。 通晓逻辑规则，却在简单因果推理中漏洞百出。 这就是大模型的书呆子困境，它把知识硬塞进参数里，靠记忆匹配给出答案，却没有真正学会思考。 从7B到70B，参数的成倍增长带来的是知识储量的线性提升，是输出稳定性的小幅优化，却没有让智能产生质的飞跃。 超过8B的参数，绝大多数都用来承载冗余的记忆，而非锻造核心的能力。 二，智能的阈值，8B 参数就够了。 多出来的全是冗余，从生物智能的维度对照，我们能更清晰地看清这个真相。 人类大脑负责高级认知的神经元约140亿，黑猩猩、海豚等高智商动物不足1亿，猫狗更是仅有千万级别。 而8B 参数的模型已经接近人类核心智能单元的规模。 跨过了智能涌现的最小阈值。 这个阈值是智能与工具的分界线。 低于8B，模型更偏向模板匹配、简单记忆，无法完成连贯的多轮推理与策略规划。 达到8B，模型具备了抽象理解、逻辑推理、意图识别、泛化应用的核心能力，这才是真正意义上的智能。 行业的误区在于误以为跨过阈值后继续扩参就能让智能无限提升，事实恰恰相反，8B之后的参数增长几乎都用来填充数字硬盘。 把更多知识、更多文本、更多答案塞进模型里，智能在8B就已接近饱和，能力的上限从来不由参数决定。 三，减法训练，用反向蒸馏找到智能的最小必要参数。当下的大模型训练，是一场盲目的炼金术，我们投喂海量数据，且不断扩充参数，看着能力偶然涌现，却不知道究竟是哪些数据，哪些参数催生了真正的智能。 黑箱之下，我们只能靠堆参数、堆数据来赌能力，低效且盲目。 而给大模型做减法，就是打破黑箱的关键，反向蒸馏，做减法排查。 以成熟的70B大模型为基础，反向剔除参数，删减训练任务，一步步观察模型的能力变化。 当某项核心智能消失的那一刻，就是找到了支撑该能力的最小必要参数集与最小训练任务集。 这个过程就是把能力和记忆彻底剥离，剔除的是用来背书、记答案的冗余参数，留下的是支撑推理、决策、泛化的核心能力参数。 我们会发现，支撑大模型所有核心智能的，不过是8B左右的核心参数，剩下的数十倍参数都是毫无意义的冗余记忆。 四，记忆机制，只能查不能背，逼模型长出真智能减法训练的核心，是堵死模型靠记忆伪装能力的捷径。 我们给模型定下铁律，锁死参数上限，禁止死记硬背，知识全部外置。 模型不再能把百科、病例、法条、答案塞进参数里，遇到未知问题不能靠调取记忆蒙混过关，只有两条路可选。 一是依靠自身的推理能力，独立拆解问题，推导答案。 二是通过检索外部知识库、经验库，精准找到所需信息并合理应用。 能推理是真聪明，会检索是真理解。 唯有靠这两种方式得出答案，才是模型真正具备了智能。 这种记忆训练彻底杜绝了模型成为书呆子的可能，强迫它把算力和参数用在锻造能力上，而非囤积知识上。 就像教育一个人，不是让他背完所有书，而是让他学会思考，学会查资料，学会解决问题。 五，下一代智能体，小模型加外部库，不是更大，而是更聪明。 清华8B医疗模型的成功已经验证了这套减法逻辑的可行性。 锁死小参数，剥离知识记忆，依托外部高质量经验库，用强化学习锻造核心决策能力，最终实现了对超大模型的超越。 这不是单一场景的特例，而是整个大模型行业的未来方向。 未来的智能体绝不会是参数无限膨胀的巨无霸，而是8B左右的轻量化核心模型，加可插拔的外部知识经验库。 小模型负责核心智能、推理、决策、泛化、理解，这是智能的大脑。 外部库负责知识存储、百科、案例、数据、经验，这是智能的图书馆。 这种架构彻底抛弃了参数即能力的错误认知，把训练的核心从堆参数、塞知识转向练方法、强能力。 它成本更低、迭代更快、可解释性更强、更贴近真实的生物智能，也更接近我们真正追求的通用智能。 如今大模型的发展走到了一个需要回归本质的拐点。 我们痴迷于更大的参数、更全的知识。 却忘了智能的核心从来不是记忆，而是思考。 不是背诵，而是推理。 不是囤积知识，而是运用知识解决问题。 给大模型做减法，锁死8B参数，禁止背诵，逼出真正的智能。 这不是对大模型的削弱，而是对智能的回归。 未来不属于更大的模型，而属于更聪明的模型。 不属于装满记忆的硬盘，而属于懂得思考的大脑。
英文翻译
Subtract from large models, lock in 8B parameters, forbid memorization, and force out true intelligence. In the years of rapid advancement of large models, the entire industry has been almost obsessed with one belief: the larger the parameters, the higher the intelligence. From 7B to 32B, from 70B to hundreds of billions or trillions, we have continuously piled up computing power and expanded parameters, training models into digital libraries storing all human books, historical records, papers, and encyclopedias. Yet few have stopped to ask: Is this really intelligence? The medical model research by Professor Liu Yang's team at Tsinghua University delivered a sobering slap to everyone. An 8B-parameter small model outperforms 32B, 64B, and even 70B ultra-large models in professional consultation scenarios. This is no accident; it is a complete disruption of the industry's path. What we have been pursuing—larger parameters—has never been the core of intelligence; it’s just a shortcut to disguise ability with massive memory. True breakthroughs in intelligence never come from addition, but from subtraction applied to large models. The truth about 170B large models is that they are erudite bookworms, not truly intelligent beings. We marvel at large models' omniscience: they can recite the entire text of *Dream of the Red Chamber*, recount the minutiae of human history, describe plots of tens of thousands of movies, and solve various exercises from textbooks. But this omnipotence is essentially a memory capability derived from parameter stacking, not intelligence itself. Humans never judge intelligence by how much one can memorize; what we admire is the ability to infer from one instance, to understand with a hint, to reason without being taught, and to solve unfamiliar problems. In contrast, even with 70B, large models still make basic common-sense errors. They can solve complex advanced math problems but cannot handle simple household accounts. They possess vast medical knowledge but cannot conduct step-by-step accurate diagnosis. They understand logical rules but are full of flaws in simple causal reasoning. This is the bookworm dilemma of large models: they cram knowledge into parameters, give answers by memory matching, but never truly learn to think. From 7B to 70B, the exponential growth in parameters brings linear improvement in knowledge storage and slight optimization in output stability, but no qualitative leap in intelligence. Beyond 8B, the vast majority of parameters are used to carry redundant memory, not to forge core capabilities. Second, the threshold of intelligence: 8B parameters are sufficient. Everything beyond is redundancy. From the perspective of biological intelligence, we can see this truth more clearly. The human brain has about 14 billion neurons responsible for advanced cognition; chimpanzees and dolphins, highly intelligent animals, have fewer than 100 million; cats and dogs only tens of millions. An 8B-parameter model already approaches the scale of human core intelligence units. It crosses the minimum threshold for intelligence emergence. This threshold is the dividing line between intelligence and tools. Below 8B, models tend toward template matching and simple memorization, unable to perform coherent multi-turn reasoning or strategic planning. At 8B, models acquire core abilities such as abstract understanding, logical reasoning, intent recognition, and generalized application—this is true intelligence. The industry's mistake is assuming that expanding parameters beyond the threshold will infinitely enhance intelligence. The opposite is true: parameter growth after 8B is almost entirely used to fill a digital hard drive. Cramming more knowledge, more text, more answers into the model—intelligence is already near saturation at 8B. The ceiling of capability is never determined by parameters. Third, subtractive training: use reverse distillation to find the minimum necessary parameters for intelligence. Current large model training is a blind alchemy: we feed massive data and continuously expand parameters, watching abilities emerge by chance, without knowing which data or which parameters actually gave rise to true intelligence. Under the black box, we can only gamble on capabilities by piling parameters and data—inefficient and blind. Subtracting from large models is the key to breaking the black box: reverse distillation, step-by-step subtraction. Start with a mature 70B large model, reverse-remove parameters, delete training tasks, and observe changes in the model's abilities step by step. The moment a core intelligence capability disappears is when we find the minimum necessary parameter set and minimum training task set that supports that ability. This process thoroughly separates ability from memory: redundant parameters used for rote memorization are eliminated, leaving the core parameters that support reasoning, decision-making, and generalization. We will find that all core intelligence of a large model is supported by only about 8B core parameters; the remaining dozens of times more parameters are meaningless redundant memory. Fourth, memory mechanism: can query but cannot memorize—force the model to grow true intelligence. The core of subtractive training is to block the shortcut where models disguise ability through memory. We set iron rules for the model: lock parameter limits, forbid rote memorization, externalize all knowledge. The model can no longer stuff encyclopedias, cases, laws, or answers into its parameters. When faced with unknown problems, it cannot bluff by retrieving memory; it has only two options. One is to rely on its own reasoning ability to independently break down the problem and deduce the answer. The other is to retrieve information from external knowledge bases or experience bases, precisely find needed information, and apply it appropriately. Being able to reason is true intelligence; being able to retrieve is true understanding. Only by arriving at answers through these two ways does the model truly possess intelligence. This memory training completely eliminates the possibility of the model becoming a bookworm, forcing its computing power and parameters to be used for forging abilities rather than hoarding knowledge. It’s like educating a person: not making them memorize all books, but teaching them to think, to look up information, and to solve problems. Fifth, the next generation of intelligent agents: small models plus external libraries—not bigger, but smarter. The success of the Tsinghua 8B medical model has already validated the feasibility of this subtractive logic. Lock in small parameters, strip away knowledge memory, rely on high-quality external experience libraries, forge core decision-making abilities through reinforcement learning, and ultimately surpass ultra-large models. This is not a special case in a single scenario, but the future direction of the entire large model industry. Future intelligent agents will not be behemoths with infinitely expanding parameters; they will be lightweight core models of about 8B, plus pluggable external knowledge and experience libraries. The small model handles core intelligence: reasoning, decision-making, generalization, understanding—this is the intelligent brain. The external library handles knowledge storage: encyclopedias, cases, data, experience—this is the intelligent library. This architecture completely abandons the misconception that parameters equal capability, shifting the core of training from piling parameters and stuffing knowledge to practicing methods and strengthening abilities. It is lower in cost, faster to iterate, more interpretable, closer to real biological intelligence, and closer to the general intelligence we truly pursue. Today, the development of large models has reached a turning point where we need to return to essentials. We are obsessed with larger parameters and more comprehensive knowledge. But we have forgotten that the core of intelligence is never memory, but thinking. Not memorization, but reasoning. Not hoarding knowledge, but applying knowledge to solve problems. Subtract from large models, lock in 8B parameters, forbid memorization, and force out true intelligence. This is not a weakening of large models, but a return to intelligence. The future does not belong to larger models, but to smarter models. Not to hard drives filled with memory, but to brains that know how to think.
back to top