Ollama

选择与使用

先判断是否适合你的任务

Ollama 适合从一个可运行的小模型开始理解本地推理。真正需要比较的是模型能否完成你的任务、等待时间和机器占用，而不是下载了多少参数。

AI Codex · 资料核对于 2026-10-02 · 基于官方文档的使用建议，不是性能实测。内容方法

第一次使用，按这个顺序

1. 安装官方客户端，先选择模型库中一个明确版本的小模型。记录模型标签和下载大小，避免第一次就尝试最大的模型。
2. 先发短问题确认能输出，再使用固定的实际样本。运行 ollama ps 查看加载情况，并同时观察系统内存。
3. 逐步增加输入长度，一次只改变一个条件。若要保持本地处理，按官方说明禁用云功能，并核对日志与所用模型。

遇到问题，先查哪里

下载成功却运行很慢

先查看 ollama ps 的处理器分配，再区分首次加载、生成速度与长上下文成本。不要仅凭文件能下载就判断机器够用。

短问题正常，长文档失败

缩短输入和降低并发后重试，记录峰值占用。根据工作负载留出余量，而不是把全部内存分给权重。

与其他方案怎么选

如果只偶尔处理复杂任务，可比较按量 API 的总成本；如果需要可控的本地流程，先用真实样本确认小模型是否达标，再考虑硬件升级。

购买与部署前的具体问题

• Ollama 能离线使用吗？模型准备、GGUF 导入与禁云验收 →