我的征尘是星辰大海。。。
The dirt and dust from my pilgrimage forms oceans of stars...
-------当记忆的篇章变得零碎，当追忆的图片变得模糊，我们只能求助于数字存储的永恒的回忆
作者:黄教授
手机视频列表
从大概念模型到视觉token我们如何给transformer减负
视频
音频
原始脚本
从大概念模型到视觉 token，我们如何给 Transformer 减负？Profa Levittar 草服之风，静云乱剑天津，2025年10月24日4:57。 最近，Deepseek OCR 的技术思路让我豁然开朗。 他用一种巧妙的方式绕开了一个困扰业界许久的难题，如何让模型的输入单元承载更密集的语义信息。 我们都知道传统 Transformer 模型的输入是一个个独立的文字 Token，这就像用小勺子给大卡车装货，勺子太小，Token 信息稀疏，卡车强大的注意力机制空转严重，效率低下。 Meta 之前提出的大概念模型 LCM 思路直指问题核心。 为什么不用概念？比如高兴的南辕北辙作为输入单元，这样每个单元的信息密度就高多了。 想法虽好，但落地极难，概念难定义，概念边界模糊，不同语言场景下千差万别，实现成本高，需要先训练一个能理解语义的超级 这本身就相当于再造一个大模型，架构改动大，从输入到输出都要以概念为单位，整个 Transformer 架构都需重构。 因此， LCM 虽理念先进，却应者寥寥，而 Deepseek OCR 的视觉 token 思路堪称工程上的神来之笔。 它不直接定义概念，而是用图像块作为 token 。 一片文字在视觉上挨在一起，就被打包成一个视觉 token 。 这个过程天然的将多个文字 token 组合，形成了类似概念的信息密集单元。 它不依赖语言理解，实现简单，却完美达到了提升输入信息密度的目的。 这相当于把原来的小勺子换成了大铲子，同样是装货，但效率天差地别。 Deepseek OCR 没有颠覆 Transformer 架构，却在嵌入层这个关键节点上为我们打开了一扇窗。 他证明了，在不改变底层逻辑的前提下，通过更换输入单元的形态，就能让大马拉小车的局面得到根本性改善。 这或许就是未来模型效率革命的关键方向。
修正脚本
从大概念模型到视觉 token，我们如何给 Transformer 减负？Profa Levittar 干货分享，好文上线今天，2025年10月24日4:57。 最近，Deepseek OCR 的技术思路让我豁然开朗。 它用一种巧妙的方式绕开了一个困扰业界许久的难题，如何让模型的输入单元承载更密集的语义信息。 我们都知道传统 Transformer 模型的输入是一个个独立的文字 Token，这就像用小勺子给大卡车装货，勺子太小，Token 信息稀疏，卡车强大的注意力机制空转严重，效率低下。 Meta 之前提出的大概念模型 LCM 思路直指问题核心。 为什么不用概念？比如高兴、南辕北辙作为输入单元，这样每个单元的信息密度就高多了。 想法虽好，但落地极难，概念难定义，概念边界模糊，不同语言场景下千差万别，实现成本高，需要先训练一个能理解语义的超级模型，这本身就相当于再造一个大模型，架构改动大，从输入到输出都要以概念为单位，整个 Transformer 架构都需重构。 因此， LCM 虽理念先进，却应者寥寥，而 Deepseek OCR 的视觉 token 思路堪称工程上的神来之笔。 它不直接定义概念，而是用图像块作为 token 。 一片文字在视觉上挨在一起，就被打包成一个视觉 token 。 这个过程天然地将多个文字 token 组合，形成了类似概念的信息密集单元。 它不依赖语言理解，实现简单，却完美达到了提升输入信息密度的目的。 这相当于把原来的小勺子换成了大铲子，同样是装货，但效率天差地别。 Deepseek OCR 没有颠覆 Transformer 架构，却在嵌入层这个关键节点上为我们打开了一扇窗。 它证明了，在不改变底层逻辑的前提下，通过更换输入单元的形态，就能让大马拉小车的局面得到根本性改善。 这或许就是未来模型效率革命的关键方向。
英文翻译
From the Large Concept Model to visual tokens, how can we lighten the load on Transformers? Profa Levittar’s干货 sharing, a great article is now online, October 24, 2025, 4:57. Recently, the technical approach of Deepseek OCR has opened my eyes. It cleverly bypasses a long-standing problem in the industry: how to make the input units of a model carry denser semantic information. We all know that the input of a traditional Transformer model consists of individual word tokens. This is like loading a large truck with a small spoon—the spoon is too small, the token information is sparse, and the powerful attention mechanism of the truck idles severely, resulting in low efficiency. Meta’s previously proposed Large Concept Model (LCM) directly targets the core of the problem. Why not use concepts? For example, “happy” or “heading south but going north” as input units, so that the information density of each unit is much higher. The idea is good, but implementation is extremely difficult. Concepts are hard to define, their boundaries are blurred, and they vary greatly across different languages and scenarios. The implementation cost is high, as it requires first training a super model that can understand semantics, which in itself is equivalent to building another large model. The architecture changes are significant—both input and output must be based on concepts, and the entire Transformer architecture needs to be restructured. Therefore, although the LCM concept is advanced, it has attracted few followers. In contrast, Deepseek OCR’s visual token approach is a stroke of engineering genius. Instead of defining concepts directly, it uses image patches as tokens. A block of text that is visually adjacent is packaged into a visual token. This process naturally combines multiple text tokens into information-dense units similar to concepts. It does not rely on language understanding, is simple to implement, yet perfectly achieves the goal of increasing input information density. This is equivalent to replacing the original small spoon with a large shovel—still loading cargo, but the efficiency is vastly different. Deepseek OCR did not overturn the Transformer architecture, but it opened a window for us at the key node of the embedding layer. It proves that without changing the underlying logic, by simply changing the form of input units, the situation of “a large horse pulling a small cart” can be fundamentally improved. This may be the key direction for future model efficiency revolutions.
back to top