跳至主要內容

Ollama：管理本地模型资产、服务端点与 API 证据

高谷深陵大约 5 分钟约 1494 字
Ollama 模型资产、本地服务与 API 知识海报
Ollama 模型资产与本地服务链高清原图

Ollama 把模型拉取、运行和本地 API 组织成一个服务，但“本地”只说明计算位置，不代表模型可信、端口安全、日志无残留或资源成本为零。工程接入要同时记录 Ollama 版本、模型身份、监听地址、运行参数和验证样本。

安装结果与模型身份必须分别证明

安装只从 Ollama 官方发行入口获取，记录二进制版本、服务状态和数据目录。模型名称可能指向会更新的 tag；需要可复现时保存 digest、模型详情、许可证来源与量化信息，不能只写一个易漂移别名。

ollama --version
ollama list
ollama show qwen2.5-coder:7b
ollama ps

模型文件体积大且来源包含供应链风险。接入前核对发布者、许可证、用途限制、上下文与量化；组织镜像或离线分发还要保存校验和与来源链。删除 tag 前确认底层 blob 是否仍被其他模型引用。

Modelfile 把默认行为变成可版本化配置

Modelfile 可以声明基础模型、参数、模板、system 提示等行为。它属于项目配置，不应藏在某台机器。修改温度、上下文或停止词会改变输出契约，必须与评测样本一同审查。

FROM qwen2.5-coder:7b
PARAMETER temperature 0
PARAMETER num_ctx 8192
SYSTEM 只根据提供的仓库上下文回答，不输出秘密。
ollama create project-coder -f ./Modelfile
ollama show project-coder

模型与 Modelfile 只是生成输入，不能代替业务权限。将仓库内容发送给模型前仍要排除 secret、客户数据和不必要文件。

服务监听和 API 兼容需要明确边界

默认只在本机使用最安全。若修改监听地址让局域网或容器访问，就必须增加网络隔离、反向代理认证、TLS、限流和审计。端口可访问不等于调用者被授权；不要把未认证端点暴露到办公网或公网。

curl -s http://127.0.0.1:11434/api/tags
curl -s http://127.0.0.1:11434/api/generate \
  -H 'Content-Type: application/json' \
  -d '{"model":"project-coder","prompt":"仅输出 OK","stream":false}'

若使用 OpenAI-compatible 入口，只把兼容理解为请求形状。流式事件、错误码、token 统计、工具调用、上下文上限和模型生命周期仍需在目标版本实测，项目适配层要保留原始响应与 endpoint 信息。

正反实验建立质量和故障基线

正向样本固定 prompt、模型 digest、参数和预期结构，记录首 token 延迟、总时长与输出。反向样本包括不存在模型、超出上下文、服务未启动、并发超限和非法 JSON，确认客户端能区分 4xx/5xx、连接拒绝与超时。

curl --fail --max-time 30 http://127.0.0.1:11434/api/generate \
  -d '{"model":"missing-model","prompt":"test","stream":false}'

调用失败后不要无限重试生成请求。客户端设置连接、首 token 和总超时，取消时释放流；幂等与否由业务动作决定。回答质量通过固定任务集、结构校验和人工审查评估，不以“能返回文本”作为成功。

CPU、GPU、内存与磁盘按生命周期核算

模型下载占磁盘，加载占 RAM/VRAM，并发会增加 KV cache 与排队。记录冷启动、热运行、峰值内存、GPU 使用、每秒 token 和并发拒绝。小显存机器上的自动换页可能让延迟突然恶化，不能靠增加客户端 timeout 掩盖。

容量策略决定同时加载模型数、空闲卸载、队列上限和磁盘水位。共享服务需要按团队分配 owner 和配额；个人工作站则防止后台服务长期占用资源。模型更新先并存旧 digest，用同一评测比较，再切换别名。

日志、缓存与仓库上下文仍是数据边界

prompt、响应、模型路径和错误日志可能含源码与内部信息。默认不保存完整请求，诊断日志设置访问和短保留。代理通过 Ollama 调用 shell、MCP 或网络时，工具权限独立于模型服务管理；本地推理不会自动形成沙箱。

模型许可证、SBOM/来源、漏洞信息和远程拉取域名进入供应链台账。断网环境准备离线包与校验，不能从临时镜像站拉取不明模型。团队评审输出质量、敏感数据、资源成本和退出路径，而不是只比较排行榜。

升级与清理要保留旧模型恢复路径

升级前记录 Ollama 版本、模型列表/digest、Modelfile、端口设置和评测结果。新版并行验证 API、流式行为、资源与质量，失败时恢复旧二进制/服务配置和旧模型引用。数据目录不要整体覆盖式迁移。

ollama stop project-coder
ollama rm project-coder
ollama list

清理前确认没有项目依赖该名称，并保留可重建的 Modelfile 与模型来源。停用服务时关闭监听、删除自动启动、处理模型 blob 与日志，再从项目配置移除 endpoint。新电脑按清单重新安装和拉取，通过正反 API 样本后才算恢复完成。

跳到正文