1. 核心功能升级（不止 GUI）

• 多模态与扩展能力：支持 Qwen2VL 等多模态模型，还集成图像生成、TTS（语音下载 + 实时播放）、网络搜索功能，不用切换工具就能实现文生图、语音交互。
• 运行时模型切换：通过 --admin 参数，无需重启服务就能动态切换不同模型配置，测试效率大幅提升（避免内存泄漏）。
• 灵活模板系统：重构指令模板，支持单独定义开始 / 结束标记，适配 DeepSeek 等不同架构模型的特殊格式需求，比 llama.cpp 固定模板更通用。

2. 模型适配与兼容性优化

• 更广的模型支持：除了 Llama 系，还完善支持 DeepSeek（需转 GGUF 格式）、GPTQ 等格式，Hugging Face 上已有现成的 DeepSeek-GGUF 模型可直接适配。
• 硬件与平台适配：支持 CPU/GPU 双模式，覆盖 CUDA、Vulkan、ROCm 后端（适配 AMD 显卡），还提供 Apple Silicon 原生 ARM64 版本，老设备也能跑。
• 细节兼容性修复：解决非 GGUF 模型崩溃、远程连接稳定性等问题，比 llama.cpp 对小众模型的适配更完善。

3. 体验与效率优化

• 开箱即用：打包为单可执行文件，无需复杂依赖，部署难度和 Ollama 相当，新手也能快速上手。
• 性能不打折：继承 llama.cpp 高效推理内核，还优化了 CLIP 视觉嵌入缓存（相同图像多轮对话更快）、内存管理策略，兼顾速度与资源占用。
• API 兼容：支持 OpenAI、Ollama 接口，之前写的代码不用大改就能迁移，降低使用成本。

相关视频

C++本地大模型推理工具koboldcpp#人工智能 #aigc #智能化 #大模型 #ai人工智能

来了解一下ollama的底层llama.cpp。 llama.cpp | ollama | huggingface | safetensors #AI #人工智能 #一起学习一起进步

DeepSeek 转 GGUF + KoboldCPP 部署实操教程（新手友好版）

一、前期准备（必做）

1. 硬件要求

• 内存：运行 7B 模型需 ≥16GB RAM，14B/67B 模型需 ≥32GB RAM
• 显卡：NVIDIA 显卡（可选，需装 CUDA 11.5+ 加速），无显卡则用 CPU 运行（速度较慢）
• 存储：预留 ≥20GB 空间（含模型文件、工具）

2. 软件环境安装

1. 安装 Python 3.8+：从 Python 官网 下载，安装时勾选 “Add Python to PATH”
2. 安装 Git（用于下载转换工具）：从 Git 官网 下载对应系统版本，默认安装即可

二、Step1：下载 DeepSeek 原生模型（Hugging Face 格式）

1. 打开浏览器访问 DeepSeek 模型仓库：DeepSeek 官方 Hugging Face 地址
2. 选择目标模型（推荐新手选轻量版）：
   • 普通对话：DeepSeek-Chat-V2（7B/14B）
   • 代码能力：DeepSeek-Coder-V2（7B）
   • 点击模型进入后，点击 “Files and versions”，下载所有 .bin（权重文件）、config.json、tokenizer.json 等核心文件，统一放在一个文件夹（命名如 deepseek-chat-7b）

三、Step2：将 DeepSeek 模型转成 GGUF 格式（关键步骤）

1. 下载转换工具（llama.cpp 脚本）

1. 打开命令行（Windows 按 Win+R 输 cmd，Mac/Linux 直接打开终端）
2. 执行命令下载 llama.cpp 仓库（含转换脚本）：
   bash

   git clone https://github.com/ggerganov/llama.cpp.git
   

3. 进入 llama.cpp 文件夹：
   bash

   cd llama.cpp
   

2. 安装转换依赖包

pip install -r requirements.txt

3. 执行转换命令

1. 把 Step1 下载的 DeepSeek 模型文件夹（如 deepseek-chat-7b）复制到 llama.cpp 目录下
2. 执行转换命令（替换路径为你的实际路径）：
   bash

   python convert_hf_to_gguf.py ./deepseek-chat-7b --outtype f16 --outfile ./deepseek-chat-7b.gguf
   

   • 说明：--outtype f16 是中等精度（平衡速度和效果），新手直接用；显存紧张可换 q5_1（量化格式，需改命令为 --outtype q5_1）
3. 等待转换完成（7B 模型约 10-20 分钟），成功后会在 llama.cpp 目录生成 deepseek-chat-7b.gguf 文件

四、Step3：下载并配置 KoboldCPP

1. 下载 KoboldCPP 二进制文件

1. 访问 KoboldCPP 最新下载页：KoboldCPP GitHub Releases
2. 按系统选择对应版本（新手优先选带 GUI 的版本）：
   • Windows：有 NVIDIA 显卡选 koboldcpp_cu12.exe，无显卡选 koboldcpp_nocuda.exe
   • Mac：Apple Silicon 芯片选 koboldcpp-mac-arm64，Intel 芯片选 koboldcpp-mac-x64
   • Linux：有 CUDA 选 koboldcpp-linux-x64-cuda1210，无显卡选 koboldcpp-linux-x64-nocuda
3. 下载后解压，将文件放在单独文件夹（如 KoboldCPP）

2. 放置 GGUF 模型文件

五、Step4：启动 KoboldCPP 运行 DeepSeek

1. 图形化界面配置（推荐新手）

1. 双击打开 KoboldCPP 可执行文件（如 koboldcpp_cu12.exe），弹出 GUI 配置界面
2. 核心配置（其他默认即可）：
   • Model：点击 Browse，选择 KoboldCPP 文件夹下的 deepseek-chat-7b.gguf
   • GPU Layers（仅 NVIDIA 显卡）：拉满或填 20-30（越多越快，根据显存调整）
   • Threads（CPU 线程）：填 CPU 核心数的一半（如 8 核 CPU 填 4）
3. 点击右下角 Launch 按钮启动，等待日志显示 “Server started on port 5000”（启动成功）

2. 命令行启动（备选，适合无 GUI 环境）

# Windows 示例（有 GPU）
koboldcpp_cu12.exe --model deepseek-chat-7b.gguf --gpu 30 --threads 4 --port 5000

# Mac/Linux 示例（无 GPU）
./koboldcpp-mac-arm64 --model deepseek-chat-7b.gguf --threads 4 --port 5000

六、Step5：使用 DeepSeek 模型对话

1. 启动成功后，自动弹出浏览器网页（或手动打开 http://localhost:5000）
2. 网页界面直接输入问题即可对话（如 “介绍一下自己”），支持调整温度（Temperature）、最大生成长度等参数
3. 若需文生图 / 图生图：需额外下载 Stable Diffusion 模型（放在 koboldcpp/models/sd 目录），在网页界面切换到 “Image Generation” 标签使用（与 DeepSeek 模型独立）

七、常见问题排查

1. 转换模型报错：检查 Python 版本 ≥3.8，依赖包安装完整（重新执行 pip install -r requirements.txt）
2. KoboldCPP 启动失败：确认 GGUF 格式正确（转换时未中断），显卡驱动支持 CUDA 版本
3. 对话卡顿：降低模型参数量（换 7B 模型），CPU 模式下关闭其他软件，GPU 模式增加 GPU Layers 数值
4. 格式不兼容：优先用 f16 精度转换，避免高量化格式（如 q2_k）