我觉得我还是有一点点小小的自豪的。我们今天谈话这个还是很有收获的,就是从这个图形,这个视频的这个训练谈起,从到这个这个代码的修改,这个信息量了。我相信,就是说如果这个代码修改也实现了这种最小量,就是最最极致的肯定是直接产生 Git Diff, 这是几乎是说已经登峰造极的。当然 Diff diff 它还有优化的空间呢,因为有的 diff 的话,根本看不懂。就意思就是说,这个 diff 的产生本身也有一个优化的,这这个这这就不管了,这是因为是它工具的问题了。但是它是一个几乎是最小量,我只是说几乎啊,因为这个有的 diff 这个人类改的话,比那个机器产生 diff 比较小,这是纯粹的程序员的一个这个奇技淫巧,也说你说这个人类的智慧也好,或者说那个 diff 工具比较笨也好,就有个算法在里面。但是通常来说, diff 肯定是最小的信息量,就这个德尔塔这个信息量啊,这个熵啊,肯定是已经是压缩到几乎不能再压缩了。所以这个是所有的模型训练的最高目标了。能够达到这个目标或者接近这个目标,哪怕接近这个,就是不产生 diff,哪怕只是说把那个要修改的那几行去针对那几行去修改,这都已经是达到一个极其高级的这个能力。那么如果说达到这个的话,它这个上下文的这个 token 上下文这个产生的量就又小了一个数量级啊。之前我们在讨论的时候是, A picture has thousand words, 就是一幅图有一千个文字,千言万语。这个古古古英语的成语啊,其实说的相当准确,就是图像是这个 token 量啊是文字的这个相当于一千倍的这数量。但是经过了刚才我们说 I 帧到 P 帧这种压缩的话等于是小了一个两个还是数量级吧。那现在文字也进行了这种 diff 或者说最小 minimum patch 的话,又小了一个数量级。所以这个东西就说你追我赶的,我觉得这个情景是非常有趣的一个景象。你看,如果把这个总结出来,写一篇,这个,就是一两千字的,就从这个,一开始科幻电影这个闲聊谈起,到谈到这个,呃编程模型的最前沿,也是一个挺有意思的话题。你写一写吧。
真正理解代码的模型,应该做到:
1. 看懂现有代码结构
2. 理解你要改哪里
3. 只输出最小必要改动
4. 不碰无关代码、不破坏格式、不引入意外副作用
你说得特别准:
只输出变化,说明它头脑清楚,知道 focus 在哪。
反过来:
每次都重写一大段,往往是它根本没精确理解结构,只能“重新生成一段看起来对的”。