我的征尘是星辰大海。。。
The dirt and dust from my pilgrimage forms oceans of stars...
-------当记忆的篇章变得零碎，当追忆的图片变得模糊，我们只能求助于数字存储的永恒的回忆
作者:黄教授
手机视频列表
为什么大公司都让人工智能视觉走transformer路线
视频
音频
原始脚本
为什么大公司都在让视觉 AI 走 Transformer 路线？从技术史到商业选择的深层逻辑。 提到计算机视觉，很多人会先想到 OpenCV、哈尔级联这些老工具。 早在上世纪90年代，传统视觉算法就已经能解决不少实际问题。 用 HOG 特征做行人检测，靠哈尔级联实现人脸识别，通过 SIFT 匹配图像特征 这些技术至今仍在工厂流水线的零件定位、普通安防的运动抓拍等场景里发挥作用，且优势鲜明，计算量小，适配嵌入式设备，成本可控，完全能满足简单任务加低算力的需求。 但近几年，Meta、谷歌、OpenAI 等公司却不约而同地放弃了传统视觉算法的优化路径，转而让视觉 AI 全面拥抱 Transformer 架构。 Vit, 视觉 Transformer。 Palm 1，多模态 Transformer Sora 视频生成 Transformer 相继问世，甚至不惜承担更高的算力消耗。 这背后绝非技术跟风，而是行业对视觉 AI 未来的一次集体判断。 核心答案藏在两个矛盾与一个关键目标里。 一、先理清一个认知盲点，工业场景的实用与 AI 的长期智能是两回事，很多人疑惑特斯拉自动驾驶用传统 CV 加 CNN 就能实现识别红绿灯、避让行人。 工厂质检用传统算法就能检测零件划痕，为什么大公司还要花大力气做视觉 Transformer ？本质是场景目标不同，工业自动驾驶的当前需求是高效完成单一任务，比如特斯拉的视觉系统。 核心是在100米秒内判断前方物体是否是行人，不需要理解行人为什么过马路，行人穿的衣服是什么材质。 传统 CV 加轻量模型足够快、足够便宜，适配车载嵌入式设备的算力限制。 但 Meta 谷歌的长期目标是让 AI 理解现实世界。 比如让机器人看到杯子时，不仅能识别这是杯子，还能关联杯子能装水、玻璃杯子怕摔等文字知识，甚至用语言描述杯子放在桌子上。 这种视觉加语言加知识的联动，传统视觉算法根本做不到。 它只能输出杯子的像素特征，无法与文字的语义信息产生关联。 简单说，传统视觉是专精工具，能解决眼前的实用问题。 而视觉 Transformer 是基础设施，要解决 AI 如何看懂世界并关联知识的长期问题。 二，视觉 Transformer 的真正价值，打通视觉语言的隐空间，避免二次训练陷阱。 传统视觉算法最大的局限不是识别精度不够，而是与语言系统完全割裂。 用 CNN 训练的猫识别模型会把猫编码成一串视觉特征向量 比如三角形耳朵加毛茸茸身体的数值表达，用 RNN Transformer 之前的语言模型架构。 训练的猫文字模型会把猫编码成一串语言特征向量，比如哺乳动物加会抓老鼠的语义表达。 这两串向量属于两个完全不同的隐空间。 就像中文和英文的字典，AI 不知道视觉里的猫和文字里的猫是同一个东西。 如果要让它们关联，需要额外训练特征转换模块，相当于重新翻译一本字典，成本高且效果差。 而 Transformer 架构恰好解决了这个问题，语言大模型如 GPT，用 Transformer 把文字编码成语言隐空间，视觉 former Ruvit 把图像编码成视觉隐空间，两者架构完全一致，隐空间的数据格式天然兼容，后续只需训练一 个跨模态注意力层，就能让猫的视觉特征与文字猫的语义特征，在隐空间形成一一映射。 相当于 AI 天生就知道，看到的这个动物就是文字里说的猫。 这才是大公司选择 Transformer 的核心，不是为了让视觉识别更准，而是为了让视觉和语言能原生联动。 传统架构需要先训视觉，再训语言，最后训关联，三步走。 而 Transformer 架构能一次训练同步关联，为未来的多模态智能，能看、能说、能理解，省去了二次训练的巨大成本。 3，顶尖公司的选择，用统一架构压住通用智能，Meta、谷歌、OpenAI 的布局。 本质是用 Transformer 统一视觉与语言的技术底座。 Meta 的 ViT，2020年发布，是第一个成熟的视觉 Transformer 模型，直接证明用处理文字的架构能处理图像。 随后推出的 L O V A 多模态模型，正是基于 VIT 的视觉特征与 L L M 的语言特征，实现了看图说话加图像问答。 谷歌的 POMME 更直接，把视觉 Transformer 与语言 Transformer 缝合成一个模型。 让 AI 看到桌子上的苹果时，既能识别物体，又能生成苹果在桌子上，我可以把它拿起来吃的文字逻辑。 OpenAI 的 Sora 虽然是视频生成模型，但其核心依然是用 Transformer 处理视频的时空特征。 并能结合文字指令，如一个人在雪地里散步生成视频。 这背后正是文字引空间与视频引空间的关联能力。 这些公司的专家早在多年前就看清，AI 要实现通用智能 AGI 必须先打破感官与知识的壁垒。 视觉是 AI 获取现实信息的主要渠道，语言是人类积累知识的主要载体，而 Transformer 是目前唯一能让两者原生联动的架构。 对普通人来说，这可能只是技术细节，但对行业而言，这是让 AI 从工具变成能理解世界的智能体的必经之路。 毕竟人类的智能本就是用眼睛看世界、用语言思考和交流的结合体。 结语不只是技术选择，更是智能路线的押注。 我们不必纠结视觉是否必须用 Transformer，在工业场景的高效实用需求里，传统算法仍有不可替代的价值。 但要理解为什么顶尖公司都在做视觉 Transformer 它不是为了替代谁，而是为了搭建 AI 理解世界的基础设施。 当 AI 能像人类一样，看到杯子就想到装水，看到行人皱眉就关联可能生气，这种视觉加语言加知识的联动才是真正的智能。 而 Transformer 正是目前能实现这一目标的最佳路径。
修正脚本
为什么大公司都在让视觉 AI 走 Transformer 路线？从技术史到商业选择的深层逻辑。 提到计算机视觉，很多人会先想到 OpenCV、哈尔级联这些老工具。 早在上世纪90年代，传统视觉算法就已经能解决不少实际问题。 用 HOG 特征做行人检测，靠哈尔级联实现人脸识别，通过 SIFT 匹配图像特征，这些技术至今仍在工厂流水线的零件定位、普通安防的运动抓拍等场景里发挥作用，且优势鲜明，计算量小，适配嵌入式设备，成本可控，完全能满足简单任务加低算力的需求。 但近几年，Meta、谷歌、OpenAI 等公司却不约而同地放弃了传统视觉算法的优化路径，转而让视觉 AI 全面拥抱 Transformer 架构。 ViT：视觉 Transformer。PaLM 1、多模态 Transformer、Sora 视频生成 Transformer 相继问世，甚至不惜承担更高的算力消耗。 这背后绝非技术跟风，而是行业对视觉 AI 未来的一次集体判断。 核心答案藏在两个矛盾与一个关键目标里。 一、先理清一个认知盲点，工业场景的实用与 AI 的长期智能是两回事，很多人疑惑，特斯拉自动驾驶用传统 CV 加 CNN 就能实现识别红绿灯、避让行人，工厂质检用传统算法就能检测零件划痕，为什么大公司还要花大力气做视觉 Transformer ？本质是场景目标不同，工业自动驾驶的当前需求是高效完成单一任务，比如特斯拉的视觉系统，核心是在100毫秒内判断前方物体是否是行人，不需要理解行人为什么过马路，行人穿的衣服是什么材质。 传统 CV 加轻量模型足够快、足够便宜，适配车载嵌入式设备的算力限制。 但 Meta 谷歌的长期目标是让 AI 理解现实世界。 比如让机器人看到杯子时，不仅能识别这是杯子，还能关联杯子能装水、玻璃杯子怕摔等文字知识，甚至用语言描述杯子放在桌子上。 这种视觉加语言加知识的联动，传统视觉算法根本做不到。 它只能输出杯子的像素特征，无法与文字的语义信息产生关联。 简单说，传统视觉是专精工具，能解决眼前的实用问题。 而视觉 Transformer 是基础设施，要解决 AI 如何看懂世界并关联知识的长期问题。 二、视觉 Transformer 的真正价值，打通视觉语言的隐空间，避免二次训练陷阱。 传统视觉算法最大的局限不是识别精度不够，而是与语言系统完全割裂。 用 CNN 训练的猫识别模型会把猫编码成一串视觉特征向量，比如三角形耳朵加毛茸茸身体的数值表达；用 RNN（Transformer 之前的语言模型架构）训练的猫文字模型会把猫编码成一串语言特征向量，比如哺乳动物加会抓老鼠的语义表达。 这两串向量属于两个完全不同的隐空间。 就像中文和英文的字典，AI 不知道视觉里的猫和文字里的猫是同一个东西。 如果要让它们关联，需要额外训练特征转换模块，相当于重新翻译一本字典，成本高且效果差。 而 Transformer 架构恰好解决了这个问题，语言大模型如 GPT，用 Transformer 把文字编码成语言隐空间，视觉 ViT 把图像编码成视觉隐空间，两者架构完全一致，隐空间的数据格式天然兼容，后续只需训练一个跨模态注意力层，就能让猫的视觉特征与文字猫的语义特征，在隐空间形成一一映射。 相当于 AI 天生就知道，看到的这个动物就是文字里说的猫。 这才是大公司选择 Transformer 的核心，不是为了让视觉识别更准，而是为了让视觉和语言能原生联动。 传统架构需要先训视觉，再训语言，最后训关联，三步走。 而 Transformer 架构能一次训练同步关联，为未来的多模态智能，能看、能说、能理解，省去了二次训练的巨大成本。 三、顶尖公司的选择，用统一架构锚定通用智能，Meta、谷歌、OpenAI 的布局。 本质是用 Transformer 统一视觉与语言的技术底座。 Meta 的 ViT，2020年发布，是第一个成熟的视觉 Transformer 模型，直接证明用处理文字的架构能处理图像。 随后推出的 L O V A 多模态模型，正是基于 VIT 的视觉特征与 L L M 的语言特征，实现了看图说话加图像问答。 谷歌的 POMME 更直接，把视觉 Transformer 与语言 Transformer 缝合成一个模型。 让 AI 看到桌子上的苹果时，既能识别物体，又能生成苹果在桌子上，我可以把它拿起来吃的文字逻辑。 OpenAI 的 Sora 虽然是视频生成模型，但其核心依然是用 Transformer 处理视频的时空特征。 并能结合文字指令，如一个人在雪地里散步生成视频。 这背后正是文字隐空间与视频隐空间的关联能力。 这些公司的专家早在多年前就看清，AI 要实现通用智能 AGI 必须先打破感官与知识的壁垒。 视觉是 AI 获取现实信息的主要渠道，语言是人类积累知识的主要载体，而 Transformer 是目前唯一能让两者原生联动的架构。 对普通人来说，这可能只是技术细节，但对行业而言，这是让 AI 从工具变成能理解世界的智能体的必经之路。 毕竟人类的智能本就是用眼睛看世界、用语言思考和交流的结合体。 结语不只是技术选择，更是智能路线的押注。 我们不必纠结视觉是否必须用 Transformer，在工业场景的高效实用需求里，传统算法仍有不可替代的价值。 但要理解为什么顶尖公司都在做视觉 Transformer，它不是为了替代谁，而是为了搭建 AI 理解世界的基础设施。 当 AI 能像人类一样，看到杯子就想到装水，看到行人皱眉就关联可能生气，这种视觉加语言加知识的联动才是真正的智能。 而 Transformer 正是目前能实现这一目标的最佳路径。
英文翻译
Why are major companies all adopting the Transformer route for visual AI? From technological history to the deep logic behind business choices. When it comes to computer vision, many people first think of old tools like OpenCV and Haar cascades. As early as the 1990s, traditional vision algorithms could already solve many practical problems. Using HOG features for pedestrian detection, Haar cascades for face recognition, and SIFT for matching image features—these technologies still play a role in scenarios like part positioning on factory assembly lines and motion capture in basic security systems. They have clear advantages: low computational cost, compatibility with embedded devices, controllable expenses, and they fully meet the needs of simple tasks with low computing power. But in recent years, companies like Meta, Google, and OpenAI have unanimously abandoned the optimization path of traditional vision algorithms, instead embracing the Transformer architecture for visual AI. ViT: Vision Transformer. PaLM 1, multimodal Transformers, and Sora video generation Transformers have emerged one after another, even at the cost of higher computational consumption. Behind this is not just a technological trend, but a collective industry judgment about the future of visual AI. The core answer lies in two contradictions and one key goal. First, let's clarify a cognitive blind spot: the practicality of industrial scenarios and the long-term intelligence of AI are two different things. Many people wonder: Tesla's autonomous driving uses traditional CV plus CNN to recognize traffic lights and avoid pedestrians, and factory quality inspection uses traditional algorithms to detect scratches on parts—so why are major companies investing heavily in vision Transformers? The essence is different scenario goals. The current need for industrial autonomous driving is to efficiently complete a single task. For example, Tesla's vision system's core is to determine within 100 milliseconds whether an object ahead is a pedestrian, without needing to understand why the pedestrian is crossing the road or what material their clothes are made of. Traditional CV plus lightweight models are fast enough, cheap enough, and suitable for the computing constraints of in-vehicle embedded devices. But Meta and Google's long-term goal is to make AI understand the real world. For instance, when a robot sees a cup, it not only recognizes it as a cup but also associates knowledge like "cup can hold water," "glass cup is fragile," and even describes in language that "the cup is on the table." This kind of vision-plus-language-plus-knowledge linkage is simply impossible for traditional vision algorithms. They can only output pixel features of the cup, without linking to semantic information in text. Simply put, traditional vision is a specialized tool that solves immediate practical problems. Vision Transformers, on the other hand, are infrastructure, aimed at solving the long-term problem of how AI can understand the world and associate knowledge. Second, the true value of vision Transformers lies in bridging the latent space of vision and language, avoiding the trap of secondary training. The biggest limitation of traditional vision algorithms is not insufficient recognition accuracy, but a complete disconnection from language systems. A cat recognition model trained with CNN encodes a cat as a series of visual feature vectors—e.g., numerical expressions of triangular ears plus a furry body. A cat text model trained with RNN (the language model architecture before Transformer) encodes a cat as a series of language feature vectors—e.g., semantic expressions of "mammal" plus "catches mice." These two sets of vectors belong to two completely different latent spaces. It's like dictionaries in Chinese and English—AI doesn't know that the cat in vision and the cat in text are the same thing. To connect them, an additional feature transformation module needs to be trained, essentially re-translating a dictionary, which is costly and inefficient. The Transformer architecture happens to solve this problem. Large language models like GPT use Transformers to encode text into a language latent space, while vision ViT encodes images into a visual latent space. The architectures are identical, and the data formats in the latent space are naturally compatible. Later, only a cross-modal attention layer needs to be trained to establish a one-to-one mapping between the visual features of a cat and the semantic features of the word "cat" in the latent space. This means AI inherently knows that the animal it sees is the "cat" mentioned in text. This is the core reason major companies choose Transformers: not to make vision recognition more accurate, but to enable native linkage between vision and language. Traditional architecture requires three steps: first train vision, then train language, then train linkage. The Transformer architecture can synchronize linkage in a single training session, saving huge costs of secondary training for future multimodal intelligence that can see, speak, and understand. Third, the choices of top companies: using a unified architecture to anchor general intelligence. The strategic layouts of Meta, Google, and OpenAI. The essence is to unify vision and language under a common technical foundation using Transformers. Meta's ViT, released in 2020, was the first mature vision Transformer model, directly proving that architectures designed for processing text could handle images. Subsequently, the LLaVA multimodal model, based on ViT's visual features and LLM's language features, achieved image captioning and visual question answering. Google's PaLM-E went further, stitching together vision Transformers and language Transformers into a single model. When AI sees an apple on the table, it can both recognize the object and generate textual logic like "the apple is on the table, I can pick it up and eat it." OpenAI's Sora, although a video generation model, still uses Transformers at its core to process spatiotemporal features of video. It can combine text instructions—e.g., "a person walking in the snow"—to generate video. Behind this is the ability to associate text latent space with video latent space. Experts at these companies recognized years ago that for AI to achieve general intelligence (AGI), it must first break down the barriers between sensory perception and knowledge. Vision is AI's primary channel for acquiring real-world information, language is the main carrier of human accumulated knowledge, and Transformers are currently the only architecture that can natively link the two. For ordinary people, this may just be a technical detail, but for the industry, it is a necessary path for AI to evolve from a tool into an intelligent entity that can understand the world. After all, human intelligence is inherently a combination of seeing the world with eyes and thinking and communicating with language. Conclusion: It's not just a technology choice, but a bet on the path to intelligence. We don't need to fixate on whether vision must use Transformers. In efficient, practical industrial scenarios, traditional algorithms still hold irreplaceable value. But to understand why top companies are all pursuing vision Transformers: it's not about replacing anyone, but about building the infrastructure for AI to understand the world. When AI can, like humans, see a cup and think of holding water, see a pedestrian frown and associate possible anger—this linkage of vision, language, and knowledge is true intelligence. And Transformers are currently the best path to achieve this goal.
back to top