进化策略的理解与比较

那我大概是理解了，就是说梯度下降这个东西并不是总是好用，意思就说并不是所有的这个模型参数它都有这个明显的这个梯梯度下降最快，它的本质也许是一个贪心算法，有可能是局部最优，也有可能有些东西局部最优肯定，这种情况的话肯定会造成这种会形成一个打转转吧，我就形容就打转转，就是有些你调整过来又调整回去，因为你这个会进入个，甚至于死循环一样，你进，你调整过去，哎这边下降，再调整回来又朝这边下降，然后又调整回去。那么进化策略的话，反而是说有点像深，这个叫广度搜索了。意思就是把这个搜索树变成一个叫做什么，所有的选项我都试一下，然后每次就从这个所有的选项里面挑最好的结果，然后这个进行筛选。甚至于说我可以每个结果，我再去对它所有的再去进行所有的选项，再去调优，这个进行这个参数，再去筛选，就是真正的广度一层一层的这样去，这个肯定是能够最快的，理论上可能是最快的找到这个叫做最优解。前提当然是说他这个付出的成本代价是比较高的。意思就是说广度搜索跟深度搜索最大的区别就是说他呢一定是依赖于最多的资源，每次都是所有的选项都都去并行的去查找。那么理论上是说能在最快的层数，最短的层数找到最优解。那你一定是做，这个理论上这个是耗费资源，它是一个指数级的。就说你很可能不能够把所有的选项都继续下去，那么你很可能是挑选最优解。去，或者说次优解等等，去继续再试，再加深，加一层去搜索。就是，那么这个做法的话，也有可能陷入这种所谓局部最优的这种陷阱吧。 Anyway， 这个我大概理解了。

只不过就是说这么做的话，就像那个深度搜索跟广度搜索的这个区别一样，你同时维持 30 个版本的这个大模型，那就是说相对于原原来一个大模型，那就是 30 倍的资源消耗。这个就是也是看你能否，这个叫做这个团队有那么多的资源嘛。你现在这个训练模型，这个调参数，这个实际上是非常耗费算力的。你如果有 30 个这个训练 30 个模型的算力，那当然可以这么干。可是你假如有这 30 个模型的训练算力的话，也许你用梯度下降的话早就找到了。即便说进到那个打转转圈圈了，无非你就回滚一下，或者是在之前再重新走一下。我想肯定会用你那个，比你 30 个这个这个模型训练的这个资源少得多的这个资源训练出来。总而言之这个是有点笨，除非这个是叫做叫做什么，没有算法，就是纯粹我就是用一种模型自我进化，就是说没有任何这种梯度下降这种算法指引的情况下，就只能这么做了。那你现在是有一些算法指引，还要这么做，我觉得这个就是比较笨。你觉得呢？

那我明白了，就是没有办法的办法，就只能这么干了。这个评估的话，就是说，那这个，他这个说法我还是有点质疑，就是说他他讲的是说，这个训练模型做决策，要等完整任务结束才能判断结果好坏，无法实时计算每一步的梯度，这时候梯度下降根本无从下手。那也就是说，他的这个训练过程就是一次性的，是吧？就是说那这个参数调整，他没有办法在中间步骤去做，就是结果变成说，只有训练结束的时候才能够看到评估好坏。那么他就只好说，我就干脆一次性的把所有的参数都调整了，然后看结果怎么样。