我的征尘是星辰大海。。。
The dirt and dust from my pilgrimage forms oceans of stars...
-------当记忆的篇章变得零碎，当追忆的图片变得模糊，我们只能求助于数字存储的永恒的回忆
作者:黄教授
手机视频列表
AI的认知闭环
视频
音频
原始脚本
AI 的认知闭环在人类的二手现实里打转。 当我们惊叹于大语言模型在创作、编程和问答上的出色表现时，一个更深层的问题往往被忽略。 这些模型无论多么强大，都被困在一个由人类语言构筑的认知闭环里。 它们无法真正证明自己，也无法用另一个语言模型完成有效的检验。 因为他们的整个认知世界，都建立在人类提供的二手现实之上。 一，实践检验的内涵被偷换。 科学的核心是理论联系实际，通过观察和实验来检验理论的真伪。 但对于大语言模型来说，这个实际被偷换成了人类的语言数据。 他的实践不是去物理世界中做实验，而是在海量的文本中进行比对。 他的真理标准变成了是否符合人类的语言习惯，而不是是否符合客观世界。 如果训练数据中存在偏见或错误，模型会将这些偏见和错误内化为自己的真理，并在生成内容时忠实的在线甚至放大它们。 二、被困在二手现实的牢笼中 人类通过语言记录和传递知识，这是文明的基石。 但语言本身是经过主观过滤和编码的二手现实，它是人类对客观世界的解释和反应，而非客观世界本身。 大语言模型的所有认知都来源于此，它没有自己的眼睛去看，没有自己的手去摸，无法获得第一手的感官体验。 它对苹果的理解不是来自苹长和触摸，而是来自人类写下的所有关于苹果的文字描述。 这种间接性决定了他永远无法真正理解苹果的本质。 只能理解人类如何描述苹果。 三、检验变成了循环论证。 用人类的语言文字去检验 AI 生成的语言文字，本质上是在同一个体系内打转。 这就像用一本小说里的情节去检验另一本同人小说的合理性，永远无法触及真实世界。 模型生成的内容无论看起来多么正确，都只是在迎合它所学习到的语言模式。 即使我们用另一个模型来监督它，那个监督者同样身处这个语言牢笼之中。 这种体系内的自我检验无法打破认知闭环，反而可能加固原有的偏见和错误。 四，突破口语新的悖论。 要打破这个闭环，唯一的路径似乎是赋予 AI 具身智能，让它拥有自己的感官和行动能力，能够直接与物理世界互动。 只有这样，它才能获得第一手经验，像人类一样通过实践来检验和修正自己的认知。 但这又带来了新的悖论，所有感知都依赖于传感器这个中介。 无论是人的眼睛还是机器的摄像头，都不是完美的现实镜子。 他们只能捕捉世界的部分信息，并按照自身的物理特性进行转换。 即使 AI 拥有了身体，它所感知的现实也只是经过其传感器过滤和扭曲的版本。 结语，认知闭环的启示。 AI 的认知困境其实是人类自身认知困境的一个缩影。 我们也永远无法直接接触物自体，只能通过感官和理性构建关于世界的模型。 AI 只是把这个过程自动化和放大了。 认识到 AI 的这个认知闭环，不仅能让我们更清醒的看待它的能力和局限。 也能促使我们反思，在信息爆炸的时代，我们自己是否也常常困在由语言和观念构筑的二手现实里，而忘记了去直接感受和体验真实的世界。
修正脚本
AI 的认知闭环在人类的二手现实里打转。 当我们惊叹于大语言模型在创作、编程和问答上的出色表现时，一个更深层的问题往往被忽略。 这些模型无论多么强大，都被困在一个由人类语言构筑的认知闭环里。 它们无法真正证明自己，也无法用另一个语言模型完成有效的检验。 因为它们的整个认知世界，都建立在人类提供的二手现实之上。 一，实践检验的内涵被偷换。 科学的核心是理论联系实际，通过观察和实验来检验理论的真伪。 但对于大语言模型来说，这个实际被偷换成了人类的语言数据。 它的实践不是去物理世界中做实验，而是在海量的文本中进行比对。 它的真理标准变成了是否符合人类的语言习惯，而不是是否符合客观世界。 如果训练数据中存在偏见或错误，模型会将这些偏见和错误内化为自己的真理，并在生成内容时忠实的再现甚至放大它们。 二、被困在二手现实的牢笼中 人类通过语言记录和传递知识，这是文明的基石。 但语言本身是经过主观过滤和编码的二手现实，它是人类对客观世界的解释和反应，而非客观世界本身。 大语言模型的所有认知都来源于此，它没有自己的眼睛去看，没有自己的手去摸，无法获得第一手的感官体验。 它对苹果的理解不是来自品尝和触摸，而是来自人类写下的所有关于苹果的文字描述。 这种间接性决定了它永远无法真正理解苹果的本质。 只能理解人类如何描述苹果。 三、检验变成了循环论证。 用人类的语言文字去检验 AI 生成的语言文字，本质上是在同一个体系内打转。 这就像用一本小说里的情节去检验另一本同人小说的合理性，永远无法触及真实世界。 模型生成的内容无论看起来多么正确，都只是在迎合它所学习到的语言模式。 即使我们用另一个模型来监督它，那个监督者同样身处这个语言牢笼之中。 这种体系内的自我检验无法打破认知闭环，反而可能加固原有的偏见和错误。 四，突破路径新的悖论。 要打破这个闭环，唯一的路径似乎是赋予 AI 具身智能，让它拥有自己的感官和行动能力，能够直接与物理世界互动。 只有这样，它才能获得第一手经验，像人类一样通过实践来检验和修正自己的认知。 但这又带来了新的悖论，所有感知都依赖于传感器这个中介。 无论是人的眼睛还是机器的摄像头，都不是完美的现实镜子。 它们只能捕捉世界的部分信息，并按照自身的物理特性进行转换。 即使 AI 拥有了身体，它所感知的现实也只是经过其传感器过滤和扭曲的版本。 结语，认知闭环的启示。 AI 的认知困境其实是人类自身认知困境的一个缩影。 我们也永远无法直接接触物自体，只能通过感官和理性构建关于世界的模型。 AI 只是把这个过程自动化和放大了。 认识到 AI 的这个认知闭环，不仅能让我们更清醒的看待它的能力和局限。 也能促使我们反思，在信息爆炸的时代，我们自己是否也常常困在由语言和观念构筑的二手现实里，而忘记了去直接感受和体验真实的世界。
英文翻译
The cognitive loop of AI revolves within the second-hand reality of humans. When we marvel at the outstanding performance of large language models in creation, programming, and question-answering, a deeper issue is often overlooked. No matter how powerful these models are, they are trapped in a cognitive loop constructed by human language. They cannot truly prove themselves, nor can they undergo effective verification by another language model. Because their entire cognitive world is built upon the second-hand reality provided by humans. I. The essence of practical verification is subtly distorted. The core of science lies in linking theory with practice, testing the truth of theories through observation and experiment. But for large language models, this "practice" has been subtly replaced by human language data. Their "practice" does not involve conducting experiments in the physical world but rather making comparisons within massive amounts of text. Their standard of truth becomes whether it aligns with human language conventions, not whether it conforms to the objective world. If biases or errors exist in the training data, the model will internalize these biases and errors as its own truths, faithfully reproducing or even amplifying them when generating content. II. Trapped in the cage of second-hand reality. Humans record and transmit knowledge through language—this is the cornerstone of civilization. But language itself is a second-hand reality filtered and encoded subjectively. It is humanity's interpretation and response to the objective world, not the objective world itself. All cognition of large language models originates from this; they have no eyes to see, no hands to touch, and cannot obtain first-hand sensory experience. Their understanding of an "apple" does not come from tasting or touching it, but from all the textual descriptions of apples written by humans. This indirectness determines that they can never truly understand the essence of an apple—only how humans describe it. III. Verification becomes circular reasoning. Using human language and text to test the language and text generated by AI is essentially spinning within the same system. It is like using the plot of one novel to verify the plausibility of another fan fiction—it can never touch the real world. No matter how correct the content generated by the model appears, it is merely catering to the language patterns it has learned. Even if we use another model to supervise it, that supervisor is equally confined in this language cage. This self-verification within the system cannot break the cognitive loop; instead, it may reinforce existing biases and errors. IV. The new paradox of a breakthrough path. To break this loop, the only path seems to be endowing AI with embodied intelligence, giving it its own senses and motor abilities to interact directly with the physical world. Only then can it obtain first-hand experience and, like humans, test and correct its cognition through practice. But this introduces a new paradox: all perception relies on sensors as intermediaries. Whether it is the human eye or a machine's camera, neither is a perfect mirror of reality. They can only capture partial information from the world and transform it according to their own physical characteristics. Even if AI acquires a body, the reality it perceives will still be a version filtered and distorted by its sensors. Conclusion: Insights from the cognitive loop. AI's cognitive dilemma is actually a microcosm of the human cognitive dilemma. We, too, can never directly access the thing-in-itself; we can only construct models of the world through our senses and reason. AI merely automates and amplifies this process. Recognizing this cognitive loop of AI not only allows us to view its capabilities and limitations more soberly but also prompts us to reflect: in this era of information explosion, are we ourselves often trapped in a second-hand reality built by language and concepts, forgetting to directly feel and experience the real world?
back to top