小模型在长上下文和并行输出方面的瓶颈及突破

我知道这个群论里面有讨论过这种这种，就是这几个特性吧。我之所以提这些想法，就是在想说当前的这个人工人工智能的这些 Tensor， 这种这种矩阵的计算，实际上是最主要的一个一个大计算量的一个瓶颈吧。当然这个你说瓶颈也许是不对、不准确的，因为我们总是要有一个矩阵之间这个向量之之间的一种操作，然后再去聚合，再去比较。那么在现在看起来已经成，加法是计算机里面最普通的、最常见的一个运算了，似乎也没有比它更简单、更快的了。那么你总不能用，把这个矩阵乘法的这个相乘全部改成加法，这个就不对了。为什么呢？因为这个两个元素之间的这个关系，用加法是很难去表现出来的。但是也没有什么更简单的，或者比这个乘法更简单的一个，就是他们之间关系，这个这个这个量的这个这个计算的操作了。所以我刚才想说也是，这个没有什么更好的办法。因为我原来是想说，看，探讨说有没有一种比矩阵乘法能够更加减少计算量的这个做法。另一个思路就是说现在的那个大模型的参数都去量化，而量化的一个本质是说我们实际上浮点数我们也只是取它的一部分的数位，来去表达一个它们的关系。表达一个这个每个维度的它的这个数量关系，就好像信号的强度一样。但是这个维度，每个维度实际上，其实并不需要用到 32 位浮点数那么大的一个数量来表达，因为很多时候这个信号是稀疏的，意思就是说其实我们只需要一个相对的量。就是每一个数它，我们直接对它的绝对数量并不关心，而是只是关心说不同维度之间的相对的这个量的大小，就相对关系感兴趣。而这个就是量化的一个本质，就说它这个数到底是一万还是一亿。其实这个绝对数没有关系，如果两个数都是一万的话，它它两个数都是零也没关系，就都都是等价的。就说它们之间差距是差个一，但是这个差一到底是一亿零一，还是一万万零一，一万跟一万零一之间差个一，这个其实有时候只是一个相对精度的问题，就是说看你这个。所以可以进进行量化。

那好吧，那你给我看看这个规则对照表吧。