windows服务器本地部署deepseek并训练

news/2025/2/24 11:40:10
1.安装python3.10

       下载地址 Index of python-local/3.10.9

        安装64位windows版本

2.下载到LLaMA-Factory

github地址:

GitHub - hiyouga/LLaMA-Factory: Unified Efficient Fine-Tuning of 100+ LLMs & VLMs (ACL 2024)

3. 修改pip镜像源
-- 将pip使用镜像源更新为最新版
python -m pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple --upgrade pip

-- 修改pip镜像源
pip config set global.index-url https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple

参考: 

pip 使用国内镜像源 | 菜鸟教程

4.安装LLama-Factory及所需依赖

进入第二步下载的LLaMA-Factory-main  文件夹,输入 

pip install -e".[torch,metrics]"

会报错:

 The Meson build system
      Version: 1.2.1
      Source dir: C:\Users\admin\AppData\Local\Temp\pip-install-6ydmaptf\pandas_5de9343fe55647d897afde828b9c3cd9
      Build dir: C:\Users\admin\AppData\Local\Temp\pip-install-6ydmaptf\pandas_5de9343fe55647d897afde828b9c3cd9\.mesonpy-_m3_eubb\build
      Build type: native build
      Project name: pandas
      Project version: 2.2.3

      ..\..\meson.build:2:0: ERROR: Could not find C:\Program Files (x86)\Microsoft Visual Studio\Installer\vswhere.exe

      A full log can be found at C:\Users\admin\AppData\Local\Temp\pip-install-6ydmaptf\pandas_5de9343fe55647d897afde828b9c3cd9\.mesonpy-_m3_eubb\build\meson-logs\meson-log.txt
      [end of output]

把报错信息复制给deepseek,说需要安装visualstudio 

按照deepseek的步骤安装visual studio后,问题解决

5. 检查llama-Factory是否安装完成
llamafactory-cli version

有响应,即安装成功

6.下载LLama-Factory版本的deepseek

cmd 输入python 进入python环境

from modelscope import snapshot_download

# 指定下载后的路径,你可以根据实际情况修改这个路径
custom_cache_dir = "D:/your_custom_model_path"  

model_dir = snapshot_download("deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B", revision="master", cache_dir=custom_cache_dir)
print(f"模型已下载到: {model_dir}")
 7.启动LLama-Factory的web界面

在第二步的LLama-Factory文件夹,打开命令行输入如下内容

--model-path 是第六步下载的模型地址

set TRANSFORMERS_OFFLINE=1
llamafactory-cli webui --model-path "C:\Users\admin\.cache\modelscope\hub\models\deepseek-ai\DeepSeek-R1-Distill-Qwen-1___5B"
8.插件待训练模型是否安装成功

选择第7步下载的版本、下载的路径后,点击下面的chat,加载模型,对话一下,看看是不是成功安装了

 

9. 配置训练所用的数据集

选择官方的示例数据集,可以在上面第二步的文件夹(/data)修改数据集的内容,让训练时间短一点。

其他参数不用修改,点击开始训练

可能会报 未检测到cuda环境

可能因为torch是cpu版本的,参考下面链接解决。

Torch not compiled with CUDA enabled问题解决过程记录-CSDN博客

名词解释:

1.损失

   表示训练后的模型和 数据集的差异。差异越小,表示训练结果越好。

2.梯度

  表示优化的一种算法

3.学习率

  学习的效率,如果太多模型可能记不过来,太少可能模型啥都学不到,所以要控制在合理范围。

4.轮次

  调整了几次


http://www.niftyadmin.cn/n/5864284.html

相关文章

关于梯度下降法的一份介绍

无论是机器学习(ML)还是深度学习(ML)中,梯度下降法都是一种十分优秀有用的算法,可以用它来优化模型,最小化模型的损失函数。在这片文章中我将介绍这种优化算法,包括他的概念原理、具…

【Linux】基于UDP/TCP套接字编程与守护进程

目录 一、网路套接字编程 (一)基础概念 1、源IP地址与目的IP地址 2、端口号 3、TCP与UDP 4、网络字节序 (二)套接字编程接口 1、socket 常见API 2、sockaddr结构 (三)UDP套接字 1、UDP服务器创建…

PHP房屋出租出售高效预约系统小程序源码

🏠 房屋出租出售高效预约系统 —— 您的智能找房新选择 💡 这是一款集智慧与匠心于一体的房屋出租出售预约系统,它巧妙地融合了ThinkPHP与Uniapp两大先进框架,精心打造而成。无论是小程序、H5网页,还是APP端&#xff…

线性模型 - 支持向量机

支持向量机(SVM)是一种用于分类(和回归)的监督学习算法,其主要目标是找到一个最佳决策超平面,将数据点分为不同的类别,并且使得分类边界与最近的数据点之间的间隔(margin&#xff09…

【算法】游艇租贷

问题 ⻓江游艇俱乐部在⻓江上设置了 n 个游艇租聘站&#xff0c;游客可以在这些租聘站租 ⽤游艇&#xff0c;然后在下游的任何⼀个租聘站归还。游艇出租站 i 到 j 的租⾦为 r(i, j)&#xff0c;1 ≤i< j≤n&#xff0c;设计⼀个算法&#xff0c;计算从出租站 i 到 j 所需的…

超导量子计算机的最新进展:走向实用化的量子革命

超导量子计算机的最新进展:走向实用化的量子革命 大家好,我是 Echo_Wish,今天我们来聊聊科技圈最炙手可热的话题之一——超导量子计算机。近年来,量子计算领域可谓是风起云涌,而超导量子计算机作为主流路线之一,已经在学术界和工业界取得了不少突破性进展。 那么,超导…

VS2022配置FFMPEG库基础教程

1 简介 1.1 起源与发展历程 FFmpeg诞生于2000年&#xff0c;由法国工程师Fabrice Bellard主导开发&#xff0c;其名称源自"Fast Forward MPEG"&#xff0c;初期定位为多媒体编解码工具。2004年后由Michael Niedermayer接任维护&#xff0c;逐步发展成为包含音视频采…

Fences 5深度解析:一键打造超高效整洁桌面

在信息爆炸的时代,电脑桌面往往成为各种文件、图标和快捷方式的“聚集地”。杂乱无章的桌面不仅影响视觉体验,还可能降低工作效率。而Fences 5,这款由Stardock公司精心打造的桌面管理工具,凭借其强大的功能和便捷的操作,成为了众多用户整理桌面的得力助手。本文将带大家深…