通义千问介绍

模型蒸馏

模型微调

核心机制

• 语言模型作为策略网络：将语言模型当作策略网络，把问题作为输入观察，输出词元序列作为动作，利用 Transformer 架构和语言模型的自回归特性，按序列生成词元，每个词元生成步骤都视为强化学习框架中的一个动作。
• 奖励计算与优势估计：摒弃传统价值网络，通过对同一输入问题生成的多个输出样本进行群组奖励归一化来估计优势值。先使用旧策略生成多个输出序列，计算每个序列的累积奖励，再对群组内奖励归一化，将其作为优势函数估计值。
• 目标函数优化：从旧策略中采样一组输出，通过最大化目标函数来优化策略模型。目标函数综合了策略梯度项、裁剪项和 KL 散度惩罚项，分别用于鼓励生成高奖励动作序列、限制策略更新幅度以及防止新策略与旧策略偏离过大。

优势与局限性

• 优势：无需价值网络，降低计算和内存开销；群组采样和 KL 散度惩罚提高训练稳定性；特别适用于大规模语言模型微调。
• 局限性：性能受参考策略质量影响，超参数需仔细调整，理论分析不如 PPO 完善。

• 开源性：Unsloth 是开源项目，其开源地址为https://github.com/unslothai/unsloth。
• 编程语言：主要使用 Python 编程语言，同时还用到了 Pytorch、Triton、Bitsandbytes、Xformers 等框架和库。
• 特点：支持 2018 年后发布的 NVIDIA 显卡，自动识别 GPU 架构，动态优化计算内核，通过 4bit 量化方案在精度和效率间取得平衡。原生适配 Huggingface 生态，提供 DPO 偏好对齐训练方案，支持模型继续训练、评估等完整生命周期管理。
• 运行环境要求：操作系统为 Linux 或 Windows（通过 WSL），Python 版本为 3.10 或更高版本，CUDA 版本为 11.8 或 12.1（取决于 GPU），GPU 需是支持 CUDA 的NVIDIA GPU（推荐 CUDA capability 7.0 及以上）。
• 功能：能对主流模型如 Llama-3、Qwen2、Mistral 等进行微调，使训练速度提高 2 至 5 倍，最大可减少约 70% 的显存使用量，支持 4 倍以上的长文本训练，还支持模型导出为 GGUF、Ollama、VLLM 等格式，方便部署。
• 实现原理：通过全手动编写的 Triton 内核和动态 4bit 量化技术，在保持模型精度的前提下，优化算法和内存使用，如采用智能权重上投等技术，减少权重上投的必要性，利用 bfloat16 提高 16 位训练的稳定性，从而实现高效的模型微调。

• llama.cpp：基于 C++ 编写，是一个大语言模型推理工具，它基于 ggml 库，能让以 Llama 模型为代表的多种大语言模型以量化的形式在多种后端上推理，也可用于模型微调后的格式转换等工作，例如将 Llama - factory 微调后的模型文件转换成可以被 Ollama 导入的 GGUF 文件。
• ggml：用 C 和 C++ 编写，是一个专注于 Transformer 架构模型推理的开源机器学习库，与 PyTorch 和 TensorFlow 类似，但具有轻量化、编译简单和支持量化的特点，为大模型在各种设备上的运行和微调提供了基础支持，其后续发展的 GGUF 格式也开始支持微调能力。
• Llama - factory：可用于高效微调 100 多个大型语言模型，支持多种模型如 Llama、Qwen 等，集成了多种微调方法，如增量预训练、指令监督微调等，也支持多种精度的微调。它在微调过程中可能会用到 llama.cpp 等工具进行模型文件的处理和转换。

架构设计

• 模型加载与初始化：采用 Transformer 框架的 AutoModel API 自动识别和加载多种预训练模型，可调整嵌入层大小，利用 RoPE scaling 技术处理超长上下文输入。
• 模型补丁：集成 FlashAttention 和 S2Attention 技术优化注意力机制计算，采用 Monkey - patching 技术进一步优化计算过程。
• 模型量化：支持 4 位和 8 位量化，通过减少模型权重的比特数降低内存占用，提升推理速度。
• 适配器附加：自动识别并附加适配器，优化微调性能，减少内存消耗，提高模型灵活性。

工作原理

能力表现

开发状态

特点优势

编译与运行

• 环境配置：需安装 Python 3.10 及以上版本，以及 PyTorch、Transformers 等相关依赖库。
• 安装：可从 GitHub 获取源代码，通过pip install命令安装相关依赖，也可按照官方文档的指引进行安装。
• 运行：通过命令行或 Web 界面启动服务。命令行方式可执行相关脚本并传入参数来进行模型微调和推理等操作；Web 界面即 LlamaBoard，启动后在浏览器中访问对应网址，通过界面操作选择模型、数据集、微调方法和设置参数等，点击开始即可进行模型微调。

Auto Model API

• 冻结预训练模型权重：保持原始预训练模型的权重不变，这些权重在微调过程中不进行更新，在训练时只参与前向传播和反向传播，不计算其对应梯度，从而利用了预训练模型的通用知识。
• 注入可训练低秩分解矩阵：在Transformer架构的每一层中注入可训练的低秩分解矩阵。对于预训练权重矩阵$W_0$，将全参微调的增量参数矩阵$\Delta W$表示为两个参数量更小的矩阵$B$和$A$的低秩近似，即$W_0+\Delta W=W_0+BA$。其中，$B\in R^{d\times r}$和$A\in R^{r\times d}$为LoRA低秩适应的权重矩阵，秩$r$远小于$d$，这样大大减少了可训练参数量。

• 准备数据集：将数据集整理成指定格式，如仿照alpaca_zh_demo.json的样式，并在dataset_info.json中完成数据集的注册。
• 配置微调参数：通过命令行或YAML文件配置各种参数，包括选择微调方法（如LoRA）、指定模型名称和路径、设置数据集目录、学习率、训练轮数、批次大小等。
• 启动微调：可以直接点击可视化界面的“start”按钮训练模型，也可在命令行中运行训练命令进行模型微调。

前向传播

计算损失

反向传播

参数更新

LoRA可行性分析

• 理论上的模型表示能力：如果能准确分解，说明从模型表示能力的角度，LoRA可以通过$B$和$A$来表示原始权重矩阵$W$，在理论上具有一定可行性。它可以利用低秩结构来近似原始矩阵，从而减少参数量和计算量，同时有可能保持模型的性能。
• 实际中的优化问题：在实际应用中，还需要考虑许多其他因素。例如，训练过程中的优化难度、过拟合风险、模型的泛化能力等。即使矩阵分解存在，训练$B$和$A$以最小化损失函数可能并不容易，可能会陷入局部最优解，或者由于数据噪声等原因导致过拟合，影响模型在新数据上的泛化能力。

寻找低秩矩阵的不确定性

• 存在性问题：对于某些矩阵，可能不存在精确的低秩分解使其完全等于原始矩阵。特别是对于复杂的神经网络权重矩阵，其结构和分布具有高度的复杂性和不确定性，很难保证一定能找到这样的$B$和$A$实现精确分解。
• 非唯一性问题：即使存在低秩分解，分解结果也通常不是唯一的。不同的分解方式可能对模型的性能和训练过程产生不同的影响，如何选择合适的分解方式也是一个难题。

• 主要特性：基于int4/int8量化实现高效的CPU推理，支持多种Transformer架构模型，具备流式生成与打字机效果，支持长文本对话，实现了检索增强生成（RAG），提供Python/JavaScript/C语言绑定。
• 支持模型：包括ChatGLM系列、Llama系列、InternLM、Qwen、CodeLlama、Phi等多种主流LLM模型。
• 使用方法：首先克隆项目仓库git clone --recursive https://github.com/foldl/chatllm.cpp.git，进入项目目录cd chatllm.cpp，下载或自行量化模型，然后编译项目cmake -B build、cmake --build build -j，最后运行对话./build/bin/main -m /path/to/model.bin -i。

准备工作

• 下载与编译：按照之前介绍的方法克隆项目仓库，使用CMake进行项目编译。
• 准备模型：下载或自行量化符合要求的模型，如ChatGLM系列、Llama系列等模型文件，将其放置在合适的路径下。

基本推理应用

• 启动程序：在命令行中，通过执行编译后的可执行文件来启动推理程序。例如./build/bin/main -m /path/to/model.bin -i，其中/path/to/model.bin是模型文件的实际路径。
• 输入文本：程序启动后，会提供输入提示符，用户在提示符后输入需要推理的文本内容，例如一个问题或一段文本描述。
• 获取结果：模型接收到输入文本后，会进行推理并生成相应的输出结果，在命令行中显示给用户。

高级应用

• 流式生成：ChatLLM.cpp支持流式生成，可通过相关参数设置，让模型在生成文本时实时逐字输出，实现类似打字机的效果，提供更流畅的交互体验。
• 检索增强生成（RAG）：如果需要利用RAG功能，可按照框架的要求准备相关的检索数据和配置，使模型在推理过程中能够结合外部知识源进行更准确的回答。
• 语言绑定应用：若使用Python、JavaScript或C语言绑定，可在相应的编程语言项目中导入ChatLLM.cpp的绑定库，按照库的接口文档进行函数调用，实现模型推理功能的集成，以满足不同应用场景的需求。

开源性

• ChatLLM.cpp：开源，其源代码可在相关的代码托管平台上获取，遵循相应的开源协议，允许用户自由使用、修改和分发。
• Llama.cpp：开源，基于纯C/C++实现，可在多种硬件上本地运行语言模型推理。

语言实现与依赖库

• ChatLLM.cpp：使用C++实现。它依赖一些常见的C++库，如用于数学计算、文件操作等的标准库，可能还会依赖一些深度学习相关的库来支持模型的加载和推理。
• Llama.cpp：使用C++实现，最初是Meta著名的Llama系列LLM的纯C/C++实现。它使用机器学习的张量库ggml，这是一个低级框架，提供深度学习模型所需的原始函数，并从用户那里抽象后端实现细节。

效率

• ChatLLM.cpp：通过int4/int8量化等技术实现高效的CPU推理，在不同硬件上有较好的性能表现，支持多种Transformer架构模型，能利用硬件特性进行优化。
• Llama.cpp：通过对模型进行量化等优化手段，减少内存需求，提高推理效率，在多种硬件上，如苹果自研的Silicon处理器、AVX/AVX - 512、CUDA和基于ARM Neon的环境中都有不错的推断性能。

特点

• ChatLLM.cpp：支持多种主流LLM模型，具备流式生成与打字机效果，支持长文本对话，实现了检索增强生成（RAG），还提供Python/JavaScript/C语言绑定，方便不同场景下的应用开发。
• Llama.cpp：专注于LLM的推理，具有轻量级、无第三方依赖项的特点，支持以gguf格式定义的机器学习模型，并且提供了基于CLI的工具llama - cli和openai兼容服务器llama - server，方便模型的运行和部署。

项目活跃度

• ChatLLM.cpp：项目处于活跃开发状态，不断有新功能添加和性能优化，社区也在积极参与项目的开发和维护，有一定的用户基础和关注度。
• Llama.cpp：项目活跃度高，有大量的开发者参与贡献，在开源社区中受到广泛关注，被众多工具和项目所采用，如ollama和lmstudio等流行工具也使用Llama.cpp上的绑定来增强用户友好性。

概念

实现方式

关于位置精确表达

与人类注意力机制的联系

• 局部周期性与整体适应性：人类注意力在局部上可能存在一定的周期性或重复性。比如，在阅读长文本时，人们可能会周期性地关注重点词汇、句子结构等。RoPE的周期性可以看作是对这种局部周期性注意力的一种模拟。同时，RoPE在整体上又能根据文本的不同内容和结构进行自适应调整，就像人类注意力会根据文本的重要性、上下文等因素在整体上灵活分配一样。
• 捕捉长期依赖关系：人类在处理长文本时，能够通过注意力机制捕捉到文本中的长期依赖关系，即理解不同位置的信息之间的关联。RoPE通过将位置信息编码到向量空间中，使得模型能够更好地捕捉文本中的长期依赖关系，这与人类注意力机制在长文本理解中的作用是相似的。它不是简单的线性或单调的变化，而是一种能够适应文本复杂结构和语义关系的编码方式，更符合人类处理语言时的复杂认知过程。

• 提升模型外推能力：RoPE能增强模型的外推能力，让模型在面对超出预训练长度的文本时，依然可以利用旋转位置编码来处理位置信息，有效理解长文本中不同位置词之间的关系，在一定程度上突破模型预训练时上下文长度的限制。
• 结合其他技术突破限制：可以将RoPE与其他技术结合来进一步突破上下文长度限制。如YaRN（Yet Another RoPE Extension）就是在RoPE基础上进行改进，通过“ntk - aware”“ntk - by - parts”“dynamic ntk”等插值方法，使模型能处理比原本训练时更长的文本序列。

• 利用位置编码的外推性：RoPE通过将位置信息编码为向量的旋转角度，使得模型能够学习到不同位置之间的相对关系。即使输入长度超过预训练上限，RoPE的旋转特性也能让模型对超出部分的位置信息进行合理编码，从而在一定程度上理解长文本中不同位置词之间的关系。例如，在处理超出预训练长度的文本时，模型可以根据RoPE编码的位置信息，推测出后续文本与之前已处理文本的相对位置关系，进而更好地处理上下文。
• 结合其他技术：为了更好地保持信息完整，可以将RoPE与其他技术结合使用。例如，一些方法会在截断文本时，保存关键的中间结果或摘要信息，当再次输入时，将这些保存的信息与新输入的文本一起作为模型的输入，从而为模型提供更多的上下文线索。此外，还可以采用滑动窗口技术，每次输入一个固定长度的窗口文本，并在窗口移动过程中重叠部分文本，让模型能够看到前后文本的关联，以此来弥补因截断造成的信息丢失。

原理及优势

• 引入相对位置信息：RoPE 通过将位置信息编码为三角函数的角度，利用三角函数的周期性和对称性，能够有效地捕捉文本中不同位置之间的相对关系。具体来说，对于位置$n$和维度$i$，其位置编码的计算公式为$P{E}_{n,2i}=\sin ({\omega }_{n,2i})$，$P{E}_{n,2i+1}=\cos ({\omega }_{n,2i})$，其中${\omega }_{n,2i}=\frac{1}{f^{\frac{2i}{d}}}$和${\omega }_{n,2i+1}=\frac{1}{f^{\frac{2i+1}{d}}}$。这种方式使得模型能够更好地理解文本中的语义和语法结构，尤其是在处理长序列数据时，能够有效地利用位置信息来提高模型的性能。
• 与模型计算兼容：三角函数在计算机中可以通过一系列的优化算法进行高效计算，而且与深度学习模型中的其他计算操作（如矩阵乘法、加法等）具有良好的兼容性。在现代的深度学习框架中，都提供了高效的三角函数计算库，能够在不同的硬件设备（如 GPU）上进行快速计算。

优化计算方法

• 查表法：对于一些常用的角度值，可以事先计算好对应的正弦和余弦值，并存储在一个查找表中。在实际计算时，通过查找表来获取相应的值，这样可以避免频繁的三角函数计算，提高计算效率。
• 近似计算：可以使用一些近似算法来计算三角函数值，如泰勒展开式等。通过截取泰勒展开式的前几项，可以在一定精度范围内快速计算三角函数值。
• 硬件加速：利用现代硬件设备（如 GPU）的并行计算能力，可以同时计算多个位置的编码，大大提高计算速度。一些专门的深度学习硬件还可能提供了针对三角函数计算的优化指令集，进一步加速计算过程。

• 语义信息丢失：如果位置编码是简单的周期函数，当位置超过周期从头开始时，模型会将新位置与周期内的旧位置同等对待，这会导致模型混淆不同位置的语义信息。例如，在文本中，不同位置的词语具有不同的语义角色和上下文关系，若位置编码周期性重置，会使模型难以区分文本开头和结尾相似位置的语义差异，影响对长文本语义的准确理解。
• 破坏相对位置信息：RoPE的优势在于能通过绝对位置编码实现相对位置编码。若位置编码是周期函数，会破坏这种相对位置信息的准确表示。因为周期重置后，原本不同的相对位置可能会被映射到相同的编码，使模型无法准确捕捉文本中词语之间的相对距离和顺序关系，降低模型对文本结构的理解能力。
• 模型训练和优化困难：这种设计会使位置编码的分布变得复杂且不连续，给模型的训练和优化带来挑战。模型难以学习到稳定的特征表示，梯度计算可能会出现异常，导致训练过程不稳定，收敛速度变慢，甚至可能无法收敛到最优解。

原理

处理超长文本的能力

大模型应用举例

• Kimichat：由月之暗面推出，其智能助手无损上下文长度提升到 200 万字，能够处理长达 200 万字的上下文输入，可理解和分析大量文本信息。
• InfLLM：由清华、麻省理工和人大研究人员联合提出，在没有引入额外训练的情况下，利用外部记忆模块存储超长上下文信息，实现了上下文长度的扩展，能在 1024k 上下文的海底捞针任务中实现 100% 召回。
• LongLoRA：由港中文联合 MIT 提出，结合 LoRA 方法提出长上下文 LLM 微调框架，能在单个 8×A100 机器上实现 Llama2 - 7B 模型的上下文从 4k 扩展到 100k，或 Llama2 - 70B 模型的上下文扩展到 32k。
• llmxmapreduce：清华、厦大等联合提出，通过将长上下文切分为多个片段，让模型并行处理并提取关键信息后汇总答案，结合结构化通信协议和上下文置信度校准机制，实现了上下文长度的无限稳定拓展，结合 Llama3 - 70b - instruct 等模型在长文本评测中取得优异成绩。
• 阿里云百炼的千问 long：支持最长 1000 万个 token，约 1500 万字，能满足很少见的超长篇文档处理需求。
• Quasar Alpha：是某模型实验室即将推出的长上下文基础模型的预发布版，有 1M 令牌上下文长度，专门针对编码优化，也适用于通用用途。

原理

计算

矩阵初始化

原文

解释

• 2.1适应预训练语言模型：自然语言处理中的许多应用需要将大规模预训练语言模型适配到多个下游任务，通常通过微调来实现，但其缺点是新模型参数数量与原始模型相同。随着模型规模不断增大，如GPT - 3有1750亿个可训练参数，微调的成本和部署难度显著增加。为解决此问题，此前有研究尝试仅调整部分参数或学习外部模块来适配新任务，如适配器方法在模型各层间添加可训练的小网络，前缀微调在模型输入部分添加可训练的前缀向量，但这些方法往往会引入推理延迟，且在模型质量和效率之间存在权衡。
• 2.2线性代数概念：介绍了与LoRA方法相关的线性代数概念，包括矩阵的秩、满秩和低秩矩阵。矩阵的秩是矩阵中线性独立的行向量或列向量的最大数量，对于一个$m\times n$的矩阵，其秩$r$满足$0\le r\le \min (m,n)$。当$r=0$时，矩阵为零矩阵；当$r=\min (m,n)$时，矩阵是满秩的，即所有行（或列）线性独立。低秩表示旨在将高维数据表示为低维子空间中的低秩形式，其基本思想是数据中的信息可由较少的关键特征表示，通过将数据表示为低秩矩阵，可实现降维和去噪效果，从而提取数据中的重要特征。这些概念是理解LoRA通过低秩分解来减少模型参数数量和计算量的基础。

原文

解释

原文

解释

• 4.1实验设置：选取了RoBERTa、DeBERTa、GPT - 2和GPT - 3等多种预训练语言模型，并在自然语言推理、问答和情感分析等一系列下游任务上使用LoRA进行微调，将结果与完全微调的结果进行对比。同时，把LoRA中低秩矩阵的秩$r$设置为不同值，以研究其对性能的影响，还探讨了学习率和批量大小等不同训练超参数的作用。
• 4.2结果与分析：实验结果表明，在大多数下游任务上，LoRA在模型质量方面与完全微调相当甚至更优。例如在自然语言推理任务上，LoRA微调的模型在大幅减少可训练参数数量的情况下，达到了与完全微调相当的准确率；在问答任务上，一些LoRA微调的模型表现优于完全微调的模型。研究发现，秩$r$的选择会影响性能，一般来说，随着$r$的增加，LoRA微调模型的性能有所提升，但当$r$足够大时，提升效果不再显著，这表明不同任务和模型存在$r$的最优取值范围。此外，训练超参数也会影响LoRA的性能，调整学习率和批量大小可以提高LoRA微调模型的收敛速度和性能。

原文概括

解释

5.3 How does the adaptation matrix ∆W compare to W?

5.4 Discussion

奇异值分解

左奇异向量矩阵$U$

• 定义：$U$是一个$m\times m$的正交矩阵，其列向量称为左奇异向量。
• 性质：$U$的列向量是$M{M}^{\top }$的特征向量。这些列向量相互正交，且每个列向量的长度为$1$，即$U^{\top }U=U{U}^{\top }=I$，其中$I$是单位矩阵。
• 作用：左奇异向量矩阵$U$将原始数据从输入空间转换到一个新的正交空间，在这个空间中，数据的不同维度之间是相互独立的，有助于分析数据的主要成分和结构。

右奇异向量矩阵$V$

• 定义：$V$是一个$n\times n$的正交矩阵，其列向量称为右奇异向量。
• 性质：$V$的列向量是$M^{\top }M$的特征向量，同样具有相互正交且单位长度的性质，即$V^{\top }V=V{V}^{\top }=I$。
• 作用：右奇异向量矩阵$V$对矩阵$M$的列空间进行了正交分解，它可以帮助我们理解矩阵$M$的列之间的关系，以及数据在不同特征维度上的分布情况。

奇异值矩阵$\Sigma$

• 定义：$\Sigma$是一个$m\times n$的对角矩阵，其对角线上的元素为非负实数，称为奇异值，且通常按降序排列。
• 性质：奇异值是矩阵$M$的重要特征值，它们衡量了矩阵$M$在不同奇异向量方向上的“能量”或“重要性”。
• 作用：奇异值矩阵$\Sigma$决定了左奇异向量和右奇异向量在重构原始矩阵$M$时的权重。较大的奇异值对应的奇异向量对矩阵$M$的贡献更大，通过保留较大的奇异值及其对应的奇异向量，可以对矩阵$M$进行有效的近似和降维。

1. 首先计算$A^{\top }A$：

2. 然后求$A^{\top }A$的特征值和特征向量：
   特征方程为$|A^{\top }A-\lambda I|=0$，即​1−λ1​11−λ​​=(1−λ)2−1=λ2−2λ=0，
   解得特征值${\lambda }_1=2$，${\lambda }_2=0$。

3. 得到右奇异向量矩阵$V$：

   右奇异向量矩阵$V$是由$A^{\top }A$的特征向量组成的矩阵，按列排列，所以$V=\left[\begin{array}{cc}\frac{1}{\sqrt{2}}& \frac{1}{\sqrt{2}}\\ \frac{1}{\sqrt{2}}& -\frac{1}{\sqrt{2}}\end{array}\right]$。
4. 验证$V{V}^{\top }=I$：

1. 计算$A^{T}A$和$A{A}^T$：

2. 求$A^{T}A$的特征值和特征向量：

   计算$A^{T}A$的特征多项式$|A^{T}A-\lambda I|=0$，求出特征值${\lambda }_1,{\lambda }_2,{\lambda }_3$（此过程较为复杂，一般通过数值计算方法求解）。假设求得的特征值为${\lambda }_1\ge {\lambda }_2\ge {\lambda }_3$。

   对于每个特征值${\lambda }_i$，求解齐次线性方程组$(A^{T}A-{\lambda }_{i}I)x=0$，得到对应的特征向量${\xi }_i$，然后将这些特征向量单位化（即变为长度为$1$的向量），得到单位特征向量$v_1,v_2,v_3$。这些单位特征向量按列构成右奇异向量矩阵$V=\left[\begin{array}{ccc}{v}_1& v_2& v_3\end{array}\right]$。
3. 求$A{A}^T$的特征值和特征向量：

   同样计算$A{A}^T$的特征多项式$|A{A}^T-\lambda I|=0$，求出特征值${\mu }_1,{\mu }_2,{\mu }_3$（与$A^{T}A$的非零特征值是相同的） 。

   对于每个特征值${\mu }_i$，求解齐次线性方程组$(A{A}^T-{\mu }_{i}I)y=0$，得到对应的特征向量${\eta }_i$，然后将这些特征向量单位化，得到单位特征向量$u_1,u_2,u_3$。这些单位特征向量按列构成左奇异向量矩阵$U=\left[\begin{array}{ccc}{u}_1& u_2& u_3\end{array}\right]$。
4. 求奇异值矩阵$\Sigma$：

   奇异值${\sigma }_i=\sqrt{{\lambda }_i}$（${\lambda }_i$是$A^{T}A$的特征值），将奇异值按从大到小的顺序排列，构成对角矩阵$\Sigma$，其维度为$3\times 3$，且${\Sigma }_{ii}={\sigma }_i$，其他元素为$0$。

import numpy as np

A = np.array([[3, 2, 1], [-5, -4, 6], [0, 3, 1]])
U, s, Vt = np.linalg.svd(A)
# 构造奇异值矩阵Sigma
Sigma = np.zeros((A.shape[0], A.shape[1]))
Sigma[:len(s), :len(s)] = np.diag(s)

print("左奇异向量矩阵 U:\n", U)
print("奇异值矩阵 Sigma:\n", Sigma)
print("右奇异向量矩阵 Vt 的转置 V:\n", Vt.T)

初等行变换法

• 这是最常用的方法。对矩阵进行初等行变换，将其化为行阶梯形矩阵。行阶梯形矩阵中非零行的行数就是矩阵的秩。例如，对于给定的$3\times 3$矩阵$A$，通过一系列初等行变换（如倍加变换、换行变换、倍乘变换）将其化为行阶梯形。
• 比如矩阵A=​123​246​369​​，经过初等行变换可得​100​200​300​​，此为行阶梯形矩阵，非零行有$1$行，所以矩阵$A$的秩为$1$。