新话题与上下文

关于输出形式

关于自我否定和回滚

关于生成结束标志

1. Large Language Model Meta AI

2. 其他领域的缩写

• Large Latin American Millimeter Array（大型拉丁美洲毫米波阵列，天文学）
• Line Load Attenuation Mechanism Assembly（线路负载衰减机构组件，工程）
• Listen Learn and Make Art（教育或艺术项目）

注意事项

• Alpaca：由斯坦福大学基础模型研究中心（CRFM）的研究人员开发，是从Meta的LLaMA 7B模型中微调而来的，采用Hugging Face的训练框架进行微调。
• Vicuna：由LMSYS开发，有Vicuna-7B和Vicuna-13B两种大小的模型，是Alpaca模型的改进版本，基于Transformer架构，采用人类生成的对话数据集进行了微调。
• MPT：全称MosaicML Pretrained Transformer，由MosaicML推出，基础版本为70亿参数，在大量数据上训练，与LLaMA相当，支持84k Tokens超长输入，并用FlashAttention和FasterTransformer方法针对训练和推理速度做过优化。
• RedPajama：由Together公司推出，在5TB的同名开源数据上训练而来，除70亿参数基础模型外，还有一个30亿参数版本，可以在RTX2070游戏显卡上运行。

共性部分

• 主要层类型：一般都包含自注意力层（Self - Attention Layer）、前馈神经网络层（Feed - Forward Neural Network Layer）和层归一化层（Layer Normalization Layer）。例如 BERT、GPT 等模型都具备这些基本层。
• 基本流程：输入文本通常先进行词嵌入，然后进入编码器或解码器。在编码器中，数据依次经过自注意力层和前馈神经网络层，每层计算后通常会进行层归一化；解码器除了包含这些层外，还会有一个编码器 - 解码器注意力层，用于利用编码器的输出信息。

差异部分

• 层数和维度：不同模型的编码器和解码器层数不同，例如 Transformer 论文中编码器和解码器各有 6 层，而 GPT-3 有几十层甚至更多。每层的维度、头的数量等超参数也都可以根据模型的需求和性能进行调整。
• 特殊层或操作：一些模型可能会添加特殊的层或操作，如 XLNet 引入了相对位置编码和双流自注意力机制，以更好地处理文本序列信息。

#include <stdio.h>
#include <stdlib.h>
#include <string.h>

// 定义一个简单的张量结构来表示数据
typedef struct {
    float *data;  // 数据指针，指向实际的浮点数数据
    int n_dims;   // 维度数量
    int *shape;   // 各维度的大小
} Tensor;

// 初始化张量函数
Tensor* tensor_init(int n_dims, int *shape) {
    Tensor *tensor = (Tensor *)malloc(sizeof(Tensor));
    if (tensor == NULL) {
        fprintf(stderr, "Failed to allocate memory for tensor.\n");
        return NULL;
    }

    tensor->n_dims = n_dims;
    tensor->shape = (int *)malloc(n_dims * sizeof(int));
    if (tensor->shape == NULL) {
        fprintf(stderr, "Failed to allocate memory for tensor shape.\n");
        free(tensor);
        return NULL;
    }

    // 复制传入的形状信息到张量的形状数组中
    for (int i = 0; i < n_dims; ++i) {
        tensor->shape[i] = shape[i];
    }

    // 计算张量元素的总数
    int total_elements = 1;
    for (int i = 0; i < n_dims; ++i) {
        total_elements *= shape[i];
    }

    // 分配数据内存
    tensor->data = (float *)malloc(total_elements * sizeof(float));
    if (tensor->data == NULL) {
        fprintf(stderr, "Failed to allocate memory for tensor data.\n");
        free(tensor->shape);
        free(tensor);
        return NULL;
    }

    return tensor;
}

1. 首先为 Tensor 结构体分配内存空间，如果分配失败则打印错误信息并返回 NULL。
2. 接着为存储张量形状信息的数组分配内存，并将传入的形状信息复制到该数组中。
3. 然后计算张量元素的总数，以便后续为实际存储数据的数组分配内存。
4. 最后为存储张量数据的数组分配内存，如果分配失败则依次释放之前已分配的内存（形状数组和结构体本身），并返回 NULL；如果所有步骤都成功，则返回初始化好的 Tensor 结构体指针。

// build the Transformer via the model.bin file
Transformer transformer;
build_transformer(&transformer, checkpoint_path);
if (steps == 0 || steps > transformer.config.seq_len) steps = transformer.config.seq_len; // override to ~max length

1. 首先声明了一个 Transformer 类型的变量 transformer，用于表示 Transformer 模型。
2. 调用 build_transformer 函数，传入 transformer 的地址和 checkpoint_path（模型检查点文件路径，这里应该是 model.bin 文件的路径）。这个函数的作用是根据指定的检查点文件来构建 Transformer 模型，将模型的相关参数和配置等信息加载到 transformer 结构体中。
3. 接下来的 if 语句检查 steps（应该是指定的生成步骤数量）的值，如果 steps 为 0 或者大于 transformer.config.seq_len（模型配置中的序列长度），则将 steps 的值设置为 transformer.config.seq_len，这样做是为了将 steps 限制在模型允许的最大序列长度范围内。

// build the Tokenizer via the tokenizer.bin file
Tokenizer tokenizer;
build_tokenizer(&tokenizer, tokenizer_path, transformer.config.vocab_size);

1. 声明了一个 Tokenizer 类型的变量 tokenizer，用于表示分词器。
2. 调用 build_tokenizer 函数，传入 tokenizer 的地址、tokenizer_path（分词器文件路径，这里是 tokenizer.bin 文件的路径）以及 transformer.config.vocab_size（模型的词汇表大小）。这个函数的作用是根据指定的分词器文件和词汇表大小来构建分词器，用于将输入文本转换为模型能够处理的 token 序列。

// build the Sampler
Sampler sampler;
build_sampler(&sampler, transformer.config.vocab_size, temperature, topp, rng_seed);

1. 声明了一个 Sampler 类型的变量 sampler，用于表示采样器。
2. 调用 build_sampler 函数，传入 sampler 的地址、transformer.config.vocab_size（词汇表大小）、temperature（温度参数，用于调整采样的随机性）、topp（核采样的阈值参数）和 rng_seed（随机数生成器种子）。这个函数的作用是根据这些参数来构建采样器，在生成文本时用于从模型预测的概率分布中采样得到下一个 token。

// run!
if (strcmp(mode, "generate") == 0) {
    generate(&transformer, &tokenizer, &sampler, prompt, steps);
} else if (strcmp(mode, "chat") == 0) {
    chat(&transformer, &tokenizer, &sampler, prompt, system_prompt, steps);
} else {
    fprintf(stderr, "unknown mode: %s\n", mode);
    error_usage();
}

1. 根据 mode 变量的值来决定执行的操作。mode 应该是一个表示运行模式的字符串。
2. 如果 mode 等于 "generate"，则调用 generate 函数，传入 transformer、tokenizer、sampler 的地址，以及 prompt（输入的文本提示）和 steps（生成的步骤数量）。这个函数的作用是使用构建好的模型、分词器和采样器，根据输入的提示文本生成指定长度的文本。
3. 如果 mode 等于 "chat"，则调用 chat 函数，传入 transformer、tokenizer、sampler 的地址，以及 prompt（输入的对话文本）、system_prompt（系统提示文本）和 steps（生成的步骤数量）。这个函数的作用是进行对话模式的文本生成。
4. 如果 mode 不是 "generate" 或 "chat"，则向标准错误输出流打印错误信息，提示未知的运行模式，并调用 error_usage 函数（推测这个函数用于打印程序的正确使用方法）。

// memory and file handles cleanup
free_sampler(&sampler);
free_tokenizer(&tokenizer);
free_transformer(&transformer);
return 0;

1. 在程序结束前，依次调用 free_sampler、free_tokenizer 和 free_transformer 函数，传入对应的结构体地址，用于释放之前分配的内存，包括采样器、分词器和 Transformer 模型相关的内存。
2. 最后返回 0，表示程序正常结束。

1. 模型构建与内存管理函数
   • malloc_run_state(RunState* s, Config* p)：为RunState结构体分配内存，用于存储模型运行时的激活状态数据。
   • free_run_state(RunState* s)：释放RunState结构体中分配的内存。
   • memory_map_weights(TransformerWeights *w, Config* p, float* ptr, int shared_weights)：将模型权重内存映射到TransformerWeights结构体中。
   • read_checkpoint(char* checkpoint, Config* config, TransformerWeights* weights, int* fd, float** data, ssize_t* file_size)：读取模型检查点文件，获取模型配置和权重信息，并进行内存映射。
   • build_transformer(Transformer *t, char* checkpoint_path)：构建Transformer模型，包括读取检查点文件和分配RunState内存。
   • free_transformer(Transformer* t)：释放Transformer模型占用的内存，包括关闭内存映射和释放RunState内存。
2. 神经网络计算函数
   • rmsnorm(float* o, float* x, float* weight, int size)：对输入数据进行均方根归一化（RMSNorm）操作。
   • softmax(float* x, int size)：对输入数据应用 Softmax 函数，将其转换为概率分布。
   • matmul(float* xout, float* x, float* w, int n, int d)：执行矩阵乘法运算。
   • forward(Transformer* transformer, int token, int pos)：执行 Transformer 模型的前向传播计算，返回模型的输出 logits。
3. 分词器相关函数
   • build_tokenizer(Tokenizer* t, char* tokenizer_path, int vocab_size)：构建分词器，从文件中读取词汇表和相关信息。
   • free_tokenizer(Tokenizer* t)：释放分词器占用的内存。
   • decode(Tokenizer* t, int prev_token, int token)：将 token 解码为字符串。
   • safe_printf(char *piece)：安全打印字符串，避免打印不可见字符。
   • str_lookup(char *str, TokenIndex *sorted_vocab, int vocab_size)：在排序后的词汇表中查找字符串对应的索引。
   • encode(Tokenizer* t, char *text, int8_t bos, int8_t eos, int *tokens, int *n_tokens)：将字符串编码为 token 序列。
4. 采样器相关函数
   • sample_argmax(float* probabilities, int n)：返回概率最高的索引，用于贪婪采样。
   • sample_mult(float* probabilities, int n, float coin)：根据概率分布进行采样。
   • compare(const void* a, const void* b)：用于对ProbIndex结构体进行排序的比较函数。
   • sample_topp(float* probabilities, int n, float topp, ProbIndex* probindex, float coin)：执行核采样（top-p 采样）。
   • build_sampler(Sampler* sampler, int vocab_size, float temperature, float topp, unsigned long long rng_seed)：构建采样器，设置相关参数。
   • free_sampler(Sampler* sampler)：释放采样器占用的内存。
   • random_u32(unsigned long long *state)：生成一个 32 位随机无符号整数。
   • random_f32(unsigned long long *state)：生成一个在 [0, 1) 范围内的随机浮点数。
   • sample(Sampler* sampler, float* logits)：根据模型输出的 logits 和采样器参数进行采样，返回采样得到的 token。
5. 生成与聊天函数
   • generate(Transformer *transformer, Tokenizer *tokenizer, Sampler *sampler, char *prompt, int steps)：根据输入提示生成文本。
   • read_stdin(const char* guide, char* buffer, size_t bufsize)：从标准输入读取一行数据。
   • chat(Transformer *transformer, Tokenizer *tokenizer, Sampler *sampler, char *cli_user_prompt, char *cli_system_prompt, int steps)：实现聊天功能，处理用户输入并生成回复。
6. 命令行接口函数
   • error_usage()：打印程序使用方法的错误信息并退出程序。
   • main(int argc, char *argv[])：程序入口，解析命令行参数，构建模型、分词器和采样器，并根据模式调用生成或聊天函数。

char* decode(Tokenizer* t, int prev_token, int token) {
    char *piece = t->vocab[token];
    // following BOS (1) token, sentencepiece decoder strips any leading whitespace (see PR #89)
    if (prev_token == 1 && piece[0] == ' ') { piece++; }
    // careful, some tokens designate raw bytes, and look like e.g. '<0x01>'
    // parse this and convert and return the actual byte
    unsigned char byte_val;
    if (sscanf(piece, "<0x%02hhX>", &byte_val) == 1) {
        piece = (char*)t->byte_pieces + byte_val * 2;
    }
    return piece;
}

1. 获取词汇表中对应的字符串：函数首先从分词器Tokenizer的词汇表vocab中取出索引为token的字符串，将其赋值给piece。这一步是基于模型输出的token，找到其在词汇表中对应的文本表示。
2. 处理句首空格：检查prev_token是否为 1（句首标记BOS） ，并且piece的首字符是否为空格。如果满足条件，说明需要去掉这个句首空格，于是将piece指针向后移动一位，跳过这个空格字符。
3. 处理表示原始字节的 token：检查piece是否是表示原始字节的特殊格式，即是否符合<0xXX>这种格式。sscanf函数尝试从piece中按照<0x%02hhX>的格式解析出一个无符号字符byte_val。如果解析成功（sscanf返回 1），说明piece表示一个原始字节，此时将piece重新赋值为tokenizer的byte_pieces数组中对应byte_val的位置。byte_pieces数组存储了所有单字节字符串，每个字节对应两个字符的位置（如byte_val对应的是byte_val * 2和byte_val * 2 + 1）。
4. 返回结果：最后，函数返回处理后的piece字符串，这个字符串就是token解码后的文本内容。