本地部署DeepSeek

Ollama的相关介绍

Ollama是一个开源工具，专门用于在本地计算机上运行和操作大型语言模型（LLM）。它让用户能够轻松下载、管理和运行各种AI模型（如LLaMA、Mistral等），而无需复杂的配置或依赖云服务。

进入官网下载ollama软件

按向导提示进行一步步安装即可。

安装完毕以后右下角出现ollama图标说明已经运行成功了；

在windows上打开系统属性：

右键点击”此电脑”或”我的电脑”，选择”属性”。。点击”高级系统设置”，然后点击”环境变量”。
在“系统变量“部分，点击”新建”：
变量名：OLLAMA_MODELS
变量值：E：\pathtolyourlcustom\directory（替换为你希望保存模型的目录路径）。点击“确定”保存更改。
重启PowerShell或命令提示符，使更改生效。

3.安装大语言模型，最方便的方法还是去官网， 复制命令在桌面右击以终端打开；

将复制的命令粘贴到终端窗口就可以在线安装了。下载还是非常快的；

当出现下图安装成功界面就算成功了；

二、手动在ollama中手动导入大语言模型 ,因为有时网络不畅上一步的快捷安装方法不成功，可以手动下载安装；

1、准备模型文件，确保模型文件是Ollama支持的格式（如GGML、GGUF等），并已下载到本地；

2、创建Modelfile在模型文件所在目录下创建一个文件命名为：Modelfile，文件内容如下：

FROME:\models\qwen2.5-7b-instruct-q4_0.gguf

注：将E:modelslqwen2.5-7b-instruct-g40.gguf替换为你模型文件的实际路径；

3、下载完后手动导入，在终端中运行以下命令

ollamacreateqwen2:5-7b-fE:\models\Modelfile

将gwen2.5-7b替换为实际的模型名称，E:\models\Modelfile替换为Mode1file的实际路径

4.验证导入,导入完成后，使用以下命令验证：ollama list
确认模型已出现在列表中。如下图说明已经可以使用了，只不过是在命令行中使用大模型；

二、安装chatbox用户界面

Chatbox是一个开源的桌面应用程序，专门用于与大型语言模型（如OpenAI的GPT系列、LLaMA、Mistral等）进行交互。它提供了一个简洁、易用的图形界面，让用户能多轻松地与AI模型对话，而无需缩编写代码或使用复杂的命令行工具。访问Chatbox的GitHub页面，下载适合你操作系统的安装包。

下载完后一路下一步进行安装，首次安装会要求选择配置；否则用不了；

选择Ollama 模型；