项目介绍
Ollama 为本地模型提供下载、运行和接口服务,可与 Open WebUI 等前端连接。模型大小、内存和计算能力决定实际体验,不是所有 NAS 都适合运行大模型。
模型文件由服务统一管理,CLI 和 HTTP 接口负责发起推理,图形前端另行连接。常开 NAS 能承担接口服务,但速度主要取决于硬件和模型规模。
适合本地模型试用及为其他工具提供推理接口。先选小模型建立基线,再比较回答效果、内存和响应时间。
核心功能
| 功能 | 作用与使用方式 |
|---|---|
| 模型管理 | 获取与查看本地模型 |
| 本地对话 | 用 CLI 验证推理 |
| 接口服务 | 供已授权前端调用 |
| 硬件选择 | 按支持情况使用 CPU 或 GPU |
| 资源观察 | 检查内存与运行负载 |
功能示意

图 1:自制功能示意图,概括本文的使用要点。
项目信息
| 项目 | 说明 |
|---|---|
| 类型 | Docker |
| 分类 | AI 与开发 |
| 项目仓库 | Ollama/ollama |
| 官方入口或文档 | 直接访问 |
| 整理日期 | 2026-11-14 |
安装或使用条件
准备支持 Docker Compose 的主机、空闲端口与持久化目录。群晖可使用 Container Manager 的项目功能;示例目录以 /volume1/docker 为基准,其他存储卷需要自行替换。
安装与使用步骤
- 先核对主机内存、CPU 和可用 GPU,使用 CPU 示例建立最小服务;GPU 配置按对应官方文档另行添加。
- 选取适合机器资源的小模型,先用官方 CLI 拉取并完成短对话。
- 确认模型运行稳定后,再让前端连接同一内网地址或容器网络,不向公网开放未鉴权接口。
首次使用与操作检查
先完成一句短问答,再测试多轮对话并记录响应时间。连接网页前端后确认两边选择的是同一模型。
容器中的 localhost 指向容器自身,连接失败先查网络地址。模型加载失败查内存及文件完整性,不反复增加模型大小。
Docker Compose
以下为整理后的配置示例。使用前替换目录、端口和凭据;浮动镜像标签会随上游变更,正式使用时应记录实际镜像摘要。
群晖目录准备
在群晖 SSH 终端执行下面这一段,再将下方配置保存为 /volume1/docker/ollama/compose.yaml。也可在 Container Manager 中新建项目,选择该目录并粘贴配置。
sudo sh <<'HALO_PREPARE'
set -eu
mkdir -p /volume1/docker/ollama /volume1/docker/ollama/models
cd /volume1/docker/ollama
HALO_PREPARE
cd /volume1/docker/ollama
services:
ollama:
image: ollama/ollama:latest
restart: unless-stopped
ports:
- "11434:11434"
volumes:
- /volume1/docker/ollama/models:/root/.ollama
在项目目录保存为 compose.yaml 后,先检查配置,再启动:
docker compose config --quiet
docker compose up -d
docker compose ps
docker compose logs --tail=100
配置与常见问题
- 示例使用浮动 latest 标签,首次拉取后应记录镜像摘要;本文未核对到适用于所有设备的统一固定版本。
- 容器内的 localhost 指容器自身,前端连接地址要按实际网络填写。
- 页面无法打开:先用
docker compose ps检查状态,再核对宿主机端口、NAS 防火墙与应用日志。不要把容器端口随意改成另一个数字。 - 文件无法保存:核对宿主目录是否存在、挂载方向及运行用户的读写权限。不要直接给整个存储卷开放所有权限。
更新与备份
备份 models 目录与已采用的模型清单,必要时另存自定义 Modelfile。
更新前保留原配置和数据备份,阅读所用版本的升级说明;确认兼容后再执行 docker compose pull 和 docker compose up -d。只回退镜像不一定能回退已经迁移过的数据库。