conda

基于VLLM本地部署DeepSeek模型

基于VLLM本地部署DeepSeek模型 什么是VLLM 如果是在企业里有一定规模的话一般都有VLLM来部署大模型,它是一个高效的大语言模型框架。它具有高效的推理和部署服务系统; 高效的内存管理:通过PagedAttention算法,vLLM实现了对KV缓存的高效管理,减少了内存浪费,优化了模型的运...

深度学习环境搭建

深度学习环境搭建 去官网下载Anaconda 小技巧,可以在右下角处点击跳过注册; 根据自己的电脑系统选择下载 下载完成以后双击安装 1、一直点下一步,在出现路径选择时,可以改变路径,比如不想装在C盘;装在D盘,在D盘新建一个文件夹。 2、添加快捷方式,清除缓存等,可以全部选中; 3、在安装的过程中...

PyTorch深度学习环境搭建

PyTorch深度学习环境搭建 PyTorch简介和Pytorch 2.0的特点: Anaconda编程环境管理 在NVIDIA控制面板中可以查看驱动版本号,如本例是546.33; 下载哪个版本可以到NVIDIA官网查看,所以最高只能装CUDA 12.3,也就是12.3以下的都可以; 安装PyTor...

conda虚拟环境修改路径

conda虚拟环境修改路径 由于Anaconda虚拟环境会随着项目的增多,会变的越来越大,最终把电脑的C盘给占满。下面来介绍下怎样对Anaconda的路径进行修改,将其移到D盘中。 1、在终端输入conda info查看当前环境; 2、输入以下命令修改路径 conda config --add en...

conda安装CUDA和配置cuDNN

安装torch首先从pytorch官网查询,分为CUDA的GPU显卡版和CPU版,根据实际情况选择。 pip install torch==2.4.0 torchvision==0.19.0 torchaudio==2.4.0 –index-url https://download.py...

提供最优质的资源集合

立即查看 了解详情