
Ollama 安装与入门
ollama 命令可以允许在本地启动并运行 LLM 大型语言模型:如运行最新的DeepSeek 、Gemma、Llama 3、phi、zephyr、阿里 Qwen、Mistral 和其他包括定制创建自己的模型,适用于 macOS、Linux、Docker 和 Windows。
ollama 安装和优化
1 | # Windows |
Docker 安装 Ollama
1 | # https://hub.docker.com/r/ollama/ollama |
Ollama 是一个本地推理模型客户端,可以一键部署DsspSeek、llamam3等大型语言模型。ollama启动后,会在本地11434
端口启动一个API服务,可以通过localhost:11434
,然后通过Page Assist 等等 UI客户端进行交互。
Ollama 常用指令
命令 | 描述 |
---|---|
ollama serve | #启动ollama |
ollama create | #从模型文件创建模型 |
ollama show | #显示模型信息 |
ollama run | #运行模型 |
ollama ps | #显示模型是否挂载到CPU/GPU |
ollama pull | #从注册表中拉取模型 |
ollama push | #将模型推送到注册表 |
ollama list | #列出模型 |
ollama cp | #复制模型 |
ollama rm | #删除模型 |
ollama help | #获取有关任何命令的帮助信息 |
下载模型
ollama模型库:Ollama Models
例如想安装deepseek-R1模型
1 | ollama run deepseek-r1:7b |
参考运行模型
如果使用纯CPU计算,要选择线程数高的CPU。GPU选择3050这些,或者钱多可以选择专业的计算卡。如果性能不够会导致模型输出慢,或者回复一半就不回复了。
1 | 1.5B 模型 (建议显存4G以上。纯CPU运算选择 I5 以上) |
Ollama 优化
修改模型保存位置
文档参考:Ollama Docs
ollama 默认的模型保存路径如下:
- Windows :
C:\Users\%username%\.ollama\models
- MacOS :
~/.ollama/models
- Linux :
/usr/share/ollama/.ollama/models
windows 修改ollama模型下载地址
- 步骤一 Windows 找到
系统属性
- 步骤二 在窗口找到
环境变量
新建一个环境变量,输入变量名 OLLAMA_MODELS
,变量值输入想保存模型的位置 D:\Ollama\models
- 步骤三 保存后重启模型,在任务管理器接受再重新运行。
- 步骤四 运行
ollama run **
拉取新的镜像
Linux 修改ollama模型下载地址
如果 Ollama 作为 systemd
服务运行,则应使用以下方法设置环境变量:systemctl
通过调用 编辑 systemd
服务。这将打开一个编辑器。systemctl edit ollama.service
对于每个环境变量,在 section
下添加一行 :Environment[Service]
1 | [Service] |
保存并退出。
重新加载并重新启动 Ollama:systemd
1 | systemctl daemon-reload |
利用 Ui客户端进行交互
Chrome、Edge浏览器插件: Page Assist
火狐浏览器: Page assist
开源自建方案:Open WebUi