RL 与 SFT 的关系及突破

• 通常情况下的关系：在一般的大模型训练中，SFT 常作为模型训练的一个阶段，利用有标注的监督数据对预训练模型进行微调，使模型在特定任务或领域上表现更好。RL 则是让模型在环境中通过与环境交互，根据反馈的奖励信号来学习最优策略。二者可以结合使用，SFT 可为 RL 提供更好的初始策略或状态，而 RL 可以进一步优化模型在无监督或半监督场景下的性能，使模型在复杂环境中自主学习和适应。
• Deepseek 中的关系：Deepseek 的 R1-zero 模型仅通过 RL 训练，不依赖 SFT 数据，探索模型自主推演能力。这种情况下，RL 完全替代了 SFT 的功能，承担起提升模型推理能力等任务，打破了传统上认为需要 SFT 数据来提升推理性能的认知。

• 摆脱数据依赖：传统模型推理性能提升依赖大量监督数据进行 SFT，数据收集标注耗时耗力。Deepseek-R1-zero 仅用 RL 训练，无需监督数据，节省了数据收集标注成本，也避免了监督数据可能存在的偏差等问题。
• 证明自主学习能力：模型仅通过 RL 训练展现出自我进化能力，如在训练中出现思考时间增加、反射、探索替代方法等复杂行为，还出现了 “顿悟时刻”，证明了 LLM 模型有自行探索长思维链的能力，意味着 AI 能在无人类过多干预下自主发展复杂推理能力，为更自主自适应的模型发展铺平了道路。
• 性能表现出色：Deepseek-R1-zero 在 AIME2024、Math-500 等多个 benchmark 中达到并超过 OpenAI-O1-0912 的水平，证明了仅靠 RL 训练提升模型推理性能的可行性和有效性。

反馈机制中的奖励机制

• 准确性奖励：依据答案的正确性给予分数，即模型给出的答案与正确答案越接近，得到的准确性奖励分数越高。
• 格式奖励：若模型在回答中遵循特定格式，则额外加分。例如，DeepSeek 要求推理过程包裹在<think></think>标签中，最终答案位于<answer></answer>标签内，符合格式就可获得格式奖励。
• 语言一致性奖励：针对可能出现的语言混杂问题，根据长思维链（cot）中目标语言单词的比例来计算，促使模型在生成内容时保持单一语言表达。

数据归一化调整机制

• 生成补全：在每个训练步骤中，对一批提示进行采样，并为每个提示生成一组补全。
• 计算优势并归一化：对于生成的每个序列，使用奖励模型计算奖励，然后通过公式${\hat{a}}_{i,t}=\frac{r_i-\text{mean}(\mathbf{r})}{\text{std}(\mathbf{r})}$计算优势并归一化，其中$r_i$是第$i$个序列的奖励，$\text{mean}(\mathbf{r})$是奖励的均值，$\text{std}(\mathbf{r})$是奖励的标准差。
• 估计 KL 散度：使用特定的近似器估计当前策略与参考策略之间的 KL 散度，衡量策略之间的差异。
• 计算损失：根据归一化后的优势和 KL 散度计算损失，目标是最大化优势的同时确保模型接近参考策略，通过损失来指导模型的参数更新，实现数据的调整和优化。

模型训练方式

1. 预训练与微调：像豆包这样的语言模型，是基于大规模数据进行预训练（如 Transformer 架构在海量文本上学习语言模式、语义等），之后可能通过微调（如在特定任务数据上微调）来提升特定场景表现。这一过程主要基于监督学习、无监督学习等方法，并非在与你实时对话时进行 RL 训练。
2. 实时响应：当你提问时，模型依据预训练和微调学到的知识，通过计算输入文本与内部知识表示的关联，生成回复。不会因为你一次反馈就立即在对话时改变模型参数进行 RL 训练。

关于个性化奖励模型

1. 无实时个性化模型创建：字节跳动不会针对你每次对话实时创建一个专门的个性化奖励模型。训练一个新模型成本极高，需要大量计算资源和时间。
2. 数据积累与改进：长期来看，用户反馈数据（包括点赞、踩、举报等多种反馈形式）会被收集和分析。这些数据会汇总起来用于后续模型的改进和优化，比如在新一轮的预训练或微调中，使模型整体表现更好，但并非为单个用户实时定制模型。

标记工作复杂的原因

• 语义理解难度大：语言存在多义性和模糊性，标记人员需深入理解文本语义才能准确标记，并非简单匹配关键词。
• 标注类型多样：不仅有分类任务，还有实体识别、情感分析、关系抽取等多种标注任务，每种都需细致处理。
• 标注标准严格：为保证数据质量和模型性能，需制定统一、严格的标注标准，标注人员要严格执行，遇到复杂情况还需讨论判断。

标记的精细度

• 标记精细度取决于任务和数据特点。可能是对每一个词进行词性、命名实体等标记，也可能对每一句话标记情感倾向、语义类别等，还可能对段落或整个文档进行主题、篇章结构等方面的标记。

标记样本数据示例

• 原始文本：“这部电影真的太棒了！剧情紧凑，演员演技也超赞，我看得十分过瘾。”
• 标记结果：正面情感

• 原始文本：“阿司匹林可以用于治疗心血管疾病。”
• 标记结果：{"药物": "阿司匹林", "疾病": "心血管疾病", "关系": "治疗"}

基础语法层面标记示例

1. 词性标注（Part - of - Speech tagging，语法层面基础分析）：
   • “The”：冠词（Determiner）
   • “president”：名词（Noun）
   • “made”：动词（Verb，make 的过去式）
   • “an”：冠词（Determiner）
   • “important”：形容词（Adjective）
   • “speech”：名词（Noun）
   • “today”：副词（Adverb）
2. 句法分析（Syntactic analysis，分析句子结构，语法层面深入分析）：
   • 句子整体结构为 “主语（The president） - 谓语（made） - 宾语（an important speech） - 时间状语（today）”。
   • 可以用依存句法分析表示，如 “president” 是 “made” 的主语（nsubj 关系），“speech” 是 “made” 的宾语（obj 关系），“important” 修饰 “speech”（amod 关系） 等。

语义层面标记示例

1. 语义角色标注（Semantic Role Labeling，理解词汇在语义层面的角色）：
   • “president”：执行动作 “made” 的施事者（Agent）
   • “speech”：动作 “made” 的受事者（Patient）
   • “today”：动作 “made” 发生的时间（Time）
2. 文本分类标记（基于语义理解进行分类）：

   根据整个句子的语义，判断该新闻为 “政治新闻”。

强化学习机制

• 自动化验证标注：与其他大模型运用人在环路的强化学习训练方法不同，Deepseek 实现了推理问题可以通过自动化方式进行验证或标注，仅需设定合适的奖励函数，无须人类干预，赋予模型更大的自主创新性和逻辑推理能力。
• 结合其他创新技术：Deepseek 引入混合专家系统（MOE）模拟人脑分工，采用多头注意力机制，像多线程工作一样同时关注多个信息点，这些和 RL 结合，使模型在处理复杂任务时更加灵活高效，提升响应速度和准确性。

训练脚本

• 硬件适配优化：从底层开始对 AI 大模型和代码进行优化，绕过 cuda 和 c/c++，从更底层的 ptx 开始编码，解决了 H800 显卡性能不足以及跨芯片通信的瓶颈问题。
• 即时编译技术：引入即时编译技术，让 AI 模型可根据显卡类型动态生成最优计算图，使得不同的计算设备都可高效运行 Deepseek 模型，还通过跨平台的 API 封装，将 cuda、rocm、opencl 等底层指令都封装为统一接口，方便模型在不同硬件间迁移。

训练数据

• 数据提纯严格：在数据处理上通过严格的清洗、去重和评分机制，筛选高信息密度的训练数据，减少无效训练样本的噪声干扰，提高了训练数据的质量。
• 中文数据优势：在中文处理方面有大量行业数据支持，相比一些国外模型，在中文语料数据及细分领域的行业数据上有优势，有助于提升在中文相关任务上的性能。

• OpenAI：OpenAI 在 Deepseek 的 R1 推出前，其 O1、O3 等模型已具备思维链推理能力。
• 谷歌：谷歌的 Gemini 模型具有推理能力，能够进行一定程度的逻辑推理和思维链展示。比如在一些自然语言处理任务和复杂问题解答中，Gemini 可以展示出逐步推理的过程来得出结论。
• 脸书（Meta）：Meta 的 Llama 系列模型在不断发展和改进，虽然在 Deepseek 的 R1 推出前没有像 OpenAI 那样明确强调思维链推理能力，但 Llama 模型在语言理解和生成等方面有一定基础，研究人员也在持续探索和提升其推理等能力，有相关技术方向的研究和尝试。
• 亚马逊：亚马逊在大模型领域也有投入和研究，其开发的一些大模型在自然语言处理、文本生成等任务上有一定表现，具备一定的推理能力，但没有像 OpenAI、Deepseek 那样特别突出地强调思维链推理这一特性的大规模应用和展示。

• Anthropic：该公司推出的 Claude 系列模型具有一定的思维推理能力，在自然语言处理任务中，能够理解和处理复杂的语义信息，进行逻辑推理和对话交互等。
• 科大讯飞：2025 年 1 月 15 日，科大讯飞首发了国内首个基于全国产算力平台训练的具备深度思考和推理能力的大模型 —— 讯飞星火深度推理模型 X1。
• 阿里：阿里通义千问推出的 qwq-32b-preview 开源模型，在 AIME 和 MATH 基准测试中，表现优于 OpenAI 推理模型 O1-preview 和 O1-mini，在数学和编程领域，尤其在需要深度推理的复杂问题上表现出色。
• 智谱 AI：智谱 AI 的 GLM-zero 预览版通过强化学习增强了模型深度推理能力，随着强化学习训练量的增加，模型在深度推理等方面的效果稳步提升。
• 腾讯：腾讯混元大模型基于 Transformer 架构，在推理创作等方面具有一定能力。

• 逻辑推理方面：在文本交互场景中，当用户提出一些需要逻辑分析、因果推断的问题时，豆包能够依据所掌握的知识和语言逻辑关系，进行合理的推理和判断，给出有逻辑的回答。比如分析事件的原因和结果、对观点进行论证等问题，豆包可以梳理其中的逻辑脉络，呈现清晰的推理过程。
• 数学推理方面：豆包可以进行数学问题的解答和推理，从简单的算术运算到复杂的数学应用题，都能通过对题目信息的理解，运用数学知识和推理方法，逐步计算出答案并展示推理步骤。
• 多模态推理方面：豆包视觉理解模型作为多模态模型，能够根据图像信息进行复杂的逻辑计算，完成分析图表、处理代码、解答学科问题等任务，体现了其在多模态数据融合下的推理能力。

• 多头潜在注意力（MLA）：采用 MLA 架构实现高效推理，通过对注意力键和值进行低秩联合压缩，减少推理期间的键值（KV）缓存，提高效率。
• Deepseek MOE 架构：使用更细粒度的专家，并将一些专家隔离为共享专家，以减少计算开销，实现经济高效的训练。
• 无辅助损失的负载平衡策略：引入该策略以最小化因鼓励负载均衡而对模型性能产生的不利影响。
• 多标记预测（MTP）训练目标：采用 MTP 目标，将预测范围扩展到每个位置的多个未来标记，以提高数据效率和模型性能。

基本语法

常用选项

• -h：美化显示打印结果。
• -l：显示更详细的信息，“ls -l” 可以简写成 “ll”。
• -a：显示隐藏文件。
• -d：只显示目录。
• -r：递归显示所有子目录、子文件。
• -s：按文件大小排序，从大到小。
• -sr：按文件大小从小到大排序。
• -t：按时间排序。
• -tr：按时间倒序排序。
• -f：按文件类型分组。

“ls -l” 打印结果说明

• 第 1 个字段：文件类型与权限，如 “d” 表示目录，“-” 表示文件，后面的 “rwx” 等表示所有者、所在组成员、其他人的权限。
• 第 2 个字段：链接数。
• 第 3 个字段：所有者用户名。
• 第 4 个字段：所在组名。
• 第 5 个字段：文件占用空间，单位字节 byte。
• 第 6 个字段：最近一次修改文件内容时间。