李钟意讲前端

外观

咨询/接单/付费bug修复/学习交流群

本地部署 deepseek ​

一、环境 ​

  • 显卡：RTX4090
  • 系统：Windows11

二、下载 ollama ​

https://ollama.com/download/windows

alt text

alt text

alt text

alt text

三、拷贝下载 deepseek-r1 命令 ​

https://ollama.com/library/deepseek-r1

powershell
ollama run deepseek-r1:32b

我的是 4090，显存 24g，故选择 32b 模型，你们的根据自己的实际情况来

然后拷贝到 powershell 中下载

alt text

alt text

DeepSeek R1 模型系列提供了从 1.5B 到 671B 不同参数规模的版本，以满足不同的应用需求。 以下是各版本模型的参数规模、显存需求对比：

模型版本参数规模显存需求符合的显卡
1.5B1.5 亿8GBNVIDIA GTX 1660 Ti / NVIDIA GTX 1080 Ti / AMD Radeon RX 5700
7B7 亿8GBNVIDIA RTX 2060 / NVIDIA RTX 2070 / AMD Radeon RX 5700 XT / NVIDIA GTX 1080 Ti
8B8 亿8GBNVIDIA RTX 2080 / NVIDIA GTX 1080 Ti / AMD Radeon RX 5700 XT / NVIDIA RTX 3060 Ti
14B14 亿12GBNVIDIA RTX 3080 / NVIDIA RTX 3090 / NVIDIA Titan RTX / AMD Radeon RX 6800 XT
32B32 亿24GBNVIDIA RTX 4090 / NVIDIA A100 / AMD Radeon RX 6900 XT / NVIDIA RTX 6000 Ada
70B70 亿48GBNVIDIA A100 / NVIDIA H100 / AMD Radeon Pro VII / NVIDIA RTX 8000
671B671 亿350GBNVIDIA H100 / NVIDIA A100 (multiple cards) / NVIDIA DGX A100 / NVIDIA RTX 8000 (multiple cards)

四、退出/重新打开 ollama ​

alt text

重新打开 ollama

五、下载 chatbox ​

https://chatboxai.app/zh

下载安装，然后设置-选择 OLLAMA API -保存

alt text

alt text

六、设置环境变量 ​

alt text

alt text

alt text

alt text

七、测试最终效果 ​

alt text

alt text