谷歌论文与英伟达的技术对比

我记得我们上次讨论的时候，还，你还透露了一个背景。这篇论文是一个在谷歌做实习生的一个博士生吧？还是哪里？最初我们对他的这个学术价值呢，评价不高。原因就是说他这种解决是不是一个我认为是不是一个能够解决问题的。这他的这种是很局部，条件约束很很强的。就说实践的指导意义不大，学术上的价值也不是很大。

我记得我们讨论过这个谷歌的这种 Nested Learning，就是他当时我认为说他的这套做法是投机的，就是说他没有办法解决这种灾难性遗忘、参数漂移。它实际上就是说利用了这个大模型参数的冗冗余，我的印象是说，就是说它还有空间，就是改变这个参数，实际上是独立的。就意思就是说，因为造成大，灾难性遗忘的原因就是说你改这个参数。你修改的是你认为的这个目标函数，但是潜在的时候，如果这个参数也被其他的任务所共享的情况下，那就有可能会影响到其他的任务的准确性。你改了以后这个，它其他任务也得改。那怎么能做到说不发生灾难性遗忘呢？那就是说你改的这个参数，它还没有被别别的这个这个这个叫做任务使用，或者说使用的这个权值比较小，你的改动对它的影响不大。所以你可以分小步小的 step 去调参。可问题就在于说，你是怎么去解决这个叫做灾难性遗忘呢？参数漂移呢？你是把两个任务就像和稀泥一样的说，你忘一点我近一点，就说有点像零和博弈。你新任务准确的代价是旧任务的不准不准确的，就是准确率的下降。你新任务的准确率的上升，是旧任务准确率的下降。如果你遇遇到这个这个共享参数的话，你的调整肯定是这种结果。怎么可能说你调整参数，之前已经训练好的旧任务，不被影响呢？这个从逻辑上是永远说不清的，为什，永远不可能的。就说你假定你只调一个参数，比如说我们只调一个参数，而这个参数正好是被其他旧任务所共享的，那一定会导致其他任务的这个表现改变了。那么你调两个参数，同时调。那这有可能说，哎，这个达到说旧的任务，哎，它也能够，就是一一个一个增长一个减少，这种补偿性的，能够让它的旧的任务没有下降，或者下降很少。哎新的任务可以表现得更好。那这种情况是要很复杂的机制去怎么去学习，而且任务跟任务之间，你怎么知道这个是这个它会影响哪个旧任务？你不去做测试，就像我们讨论过，这个我软件我去改 bug，我改了一个函数，如果这个函数是被很多的函数所调用的，它是被依赖的。赖的，那这个函数的行为改变的话，那其他的函数行为也就改变了。那其他行为改变的话，那我要不要调整呢？那这事情就是这样的。如果这个参数被很多任务，就是你之前训练好的很多任务共享呢，你怎么能够保证说你现在的修改不会影响到旧的任务呢？你能做到说你的修改就像改 bug 一样，你能做到说你改的这个 bug，你又能保证旧的行为不不改变，这可能性非常小啊。除非你改的这个就就几乎对它它不使用这个功能。所以我我觉得这不可能啊。

【谷歌刚掀了模型记忆的桌子，英伟达又革了注意力的命】 点击链接打开👉 https://m.toutiao.com/is/Z-f6Z68XalE/ Z-f6Z68XalE` igT:/ G@I.iC :9am 复制此条消息，打开「今日头条APP」或「今日头条极速版APP」后直接查看~ 看起来，谷歌的这篇论文相当的重要啊。这个泰坦系统，我们以前去。读过。知道它是一种记忆系统。但是这篇论文给我呃。给我的感觉它远比我们以前的理解要深刻的多。我能不能啊？嗯，这篇文章一。背后的那篇谷歌的论文。进讲解一下。