ollama 命令可以允许在本地启动并运行 LLM 大型语言模型:如运行最新的DeepSeek 、Gemma、Llama 3、phi、zephyr、阿里 Qwen、Mistral 和其他包括定制创建自己的模型,适用于 macOS、Linux、Docker 和 Windows。

ollama 安装和优化

1
2
3
4
5
6
7
8
# Windows
https://ollama.com/download/OllamaSetup.exe

# MacOS
https://ollama.com/download/Ollama-darwin.zip

# Linux
curl -fsSL https://ollama.com/install.sh | sh

Docker 安装 Ollama

1
2
3
4
5
6
7
8
9
# https://hub.docker.com/r/ollama/ollama
# CPU 或者 Nvidia GPU
docker pull ollama/ollama

# AMD GPU
docker pull ollama/ollama:rocm

# Ollama 部署
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Ollama 是一个本地推理模型客户端,可以一键部署DsspSeek、llamam3等大型语言模型。ollama启动后,会在本地11434 端口启动一个API服务,可以通过localhost:11434,然后通过Page Assist 等等 UI客户端进行交互。

Ollama 常用指令

命令描述
ollama serve#启动ollama
ollama create#从模型文件创建模型
ollama show#显示模型信息
ollama run#运行模型
ollama ps#显示模型是否挂载到CPU/GPU
ollama pull#从注册表中拉取模型
ollama push#将模型推送到注册表
ollama list#列出模型
ollama cp#复制模型
ollama rm#删除模型
ollama help#获取有关任何命令的帮助信息

下载模型

ollama模型库:Ollama Models

例如想安装deepseek-R1模型

1
ollama run deepseek-r1:7b

参考运行模型

如果使用纯CPU计算,要选择线程数高的CPU。GPU选择3050这些,或者钱多可以选择专业的计算卡。如果性能不够会导致模型输出慢,或者回复一半就不回复了。

1
2
3
4
5
6
1.5B 模型 (建议显存4G以上。纯CPU运算选择 I5 以上)
7B 模型 (建议显存8G)
8B 模型 (建议显存8G以上)
14B 模型 (建议显存12G)
32B 模型 (建议显存24G)
70B 模型 (建议32G显存以上)

Ollama 优化

修改模型保存位置

文档参考:Ollama Docs

ollama 默认的模型保存路径如下:

  • Windows : C:\Users\%username%\.ollama\models
  • MacOS : ~/.ollama/models
  • Linux : /usr/share/ollama/.ollama/models

windows 修改ollama模型下载地址

  • 步骤一 Windows 找到 系统属性
  • 步骤二 在窗口找到 环境变量

新建一个环境变量,输入变量名 OLLAMA_MODELS ,变量值输入想保存模型的位置 D:\Ollama\models

  • 步骤三 保存后重启模型,在任务管理器接受再重新运行。
  • 步骤四 运行ollama run ** 拉取新的镜像

Linux 修改ollama模型下载地址

如果 Ollama 作为 systemd 服务运行,则应使用以下方法设置环境变量:systemctl

通过调用 编辑 systemd 服务。这将打开一个编辑器。systemctl edit ollama.service

对于每个环境变量,在 section 下添加一行 :Environment[Service]

1
2
[Service]
Environment="OLLAMA_MODELS=/home/<username>/ollama_models"

保存并退出。

重新加载并重新启动 Ollama:systemd

1
2
systemctl daemon-reload
systemctl restart ollama

利用 Ui客户端进行交互

Chrome、Edge浏览器插件: Page Assist
火狐浏览器: Page assist
开源自建方案:Open WebUi