AI 与开发

Ollama:NAS 本地模型运行与资源检查

  • 0 次阅读
  • 0 条评论
文章摘要

Ollama 为本地模型提供下载、运行和接口服务,可与 Open WebUI 等前端连接。模型大小、内存和计算能力决定实际体验,不是所有 NAS 都适合运行大模型。 模型文件由服务统一管理,CLI 和 HTTP 接口负责发起推理,图形前端另行连接。常开 NAS 能承担接口服务,但速度主要取决于硬件和模型规模。 适合本地模型试用及为其他工具提供推理接口。先选小模型建立基线,再比较回答效果、内存和响应时间。

项目介绍

Ollama 为本地模型提供下载、运行和接口服务,可与 Open WebUI 等前端连接。模型大小、内存和计算能力决定实际体验,不是所有 NAS 都适合运行大模型。

模型文件由服务统一管理,CLI 和 HTTP 接口负责发起推理,图形前端另行连接。常开 NAS 能承担接口服务,但速度主要取决于硬件和模型规模。

适合本地模型试用及为其他工具提供推理接口。先选小模型建立基线,再比较回答效果、内存和响应时间。

核心功能

功能 作用与使用方式
模型管理 获取与查看本地模型
本地对话 用 CLI 验证推理
接口服务 供已授权前端调用
硬件选择 按支持情况使用 CPU 或 GPU
资源观察 检查内存与运行负载

功能示意

Ollama 功能示意图

图 1:自制功能示意图,概括本文的使用要点。

项目信息

项目 说明
类型 Docker
分类 AI 与开发
项目仓库 Ollama/ollama
官方入口或文档 直接访问
整理日期 2026-11-14

安装或使用条件

准备支持 Docker Compose 的主机、空闲端口与持久化目录。群晖可使用 Container Manager 的项目功能;示例目录以 /volume1/docker 为基准,其他存储卷需要自行替换。

安装与使用步骤

  1. 先核对主机内存、CPU 和可用 GPU,使用 CPU 示例建立最小服务;GPU 配置按对应官方文档另行添加。
  2. 选取适合机器资源的小模型,先用官方 CLI 拉取并完成短对话。
  3. 确认模型运行稳定后,再让前端连接同一内网地址或容器网络,不向公网开放未鉴权接口。

首次使用与操作检查

先完成一句短问答,再测试多轮对话并记录响应时间。连接网页前端后确认两边选择的是同一模型。

容器中的 localhost 指向容器自身,连接失败先查网络地址。模型加载失败查内存及文件完整性,不反复增加模型大小。

Docker Compose

以下为整理后的配置示例。使用前替换目录、端口和凭据;浮动镜像标签会随上游变更,正式使用时应记录实际镜像摘要。

群晖目录准备

在群晖 SSH 终端执行下面这一段,再将下方配置保存为 /volume1/docker/ollama/compose.yaml。也可在 Container Manager 中新建项目,选择该目录并粘贴配置。

sudo sh <<'HALO_PREPARE'
set -eu
mkdir -p /volume1/docker/ollama /volume1/docker/ollama/models
cd /volume1/docker/ollama
HALO_PREPARE
cd /volume1/docker/ollama
services:
  ollama:
    image: ollama/ollama:latest
    restart: unless-stopped
    ports:
      - "11434:11434"
    volumes:
      - /volume1/docker/ollama/models:/root/.ollama

在项目目录保存为 compose.yaml 后,先检查配置,再启动:

docker compose config --quiet
docker compose up -d
docker compose ps
docker compose logs --tail=100

配置与常见问题

  • 示例使用浮动 latest 标签,首次拉取后应记录镜像摘要;本文未核对到适用于所有设备的统一固定版本。
  • 容器内的 localhost 指容器自身,前端连接地址要按实际网络填写。
  • 页面无法打开:先用 docker compose ps 检查状态,再核对宿主机端口、NAS 防火墙与应用日志。不要把容器端口随意改成另一个数字。
  • 文件无法保存:核对宿主目录是否存在、挂载方向及运行用户的读写权限。不要直接给整个存储卷开放所有权限。

更新与备份

备份 models 目录与已采用的模型清单,必要时另存自定义 Modelfile。

更新前保留原配置和数据备份,阅读所用版本的升级说明;确认兼容后再执行 docker compose pull 和 docker compose up -d。只回退镜像不一定能回退已经迁移过的数据库。

参考资料