Linux下Ollama安装及DeepSeek R1模型部署

Linux下Ollama安装及DeepSeek R1模型部署。

ollama安装

以服务器环境上最受欢迎的Ubuntu为例：

首先安装lshw，不然安装ollama报错后还需要重装一次ollama。

apt update
apt install lshw

安装ollama

curl -fsSL https://ollama.com/install.sh | sh

如果是在Docker容器中，需要额外执行以下操作

apt install systemd
apt install systemctl

启动ollama服务

systemctl start ollama

验证ollama是否正常运行

ollama -v
ollama list
ollama ps

模型部署

deepseek-r1 7b，实测显存占用5.8G。

ollama run deepseek-r1:7b

llama3，实测显存占用11G。这次先拉取再运行

ollama pull llama3
ollama run llama3

修改模型路径

默认的模型路径是/user/shre/ollama/.ollama/models，如果要使用自定义的模型路径，可以这么做。

首先新建一个目录并设置正确的权限：

mkdir -p /root/autodl-fs/ollama_models
chown -R root:root /root/autodl-fs/ollama_models
chmod -R 775 /root/autodl-fs/ollama_models

编辑/etc/systemd/system/ollama.service文件，在[service]下面添加一行
Environment="OLLAMA_MODELS=/root/autodl-fs/ollama_models"，文件最终格式如下

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/root/miniconda3/bin:/usr/local/bin:/usr/local/nvidia/bin:/usr/local/cuda/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"
Environment="OLLAMA_MODELS=/root/autodl-fs/ollama_models"

[Install]
WantedBy=default.target

重启ollama服务

systemctl restart ollama

在AutoDL的环境中无效，可以曲线下，先start ollama并stop，删除默认目录下的所有文件，然后把共享目录下的模型复制到默认路径下。