OllamaLocal 使用教程

📖 项目简介

这套本地 AI 由两个开源项目拼起来：Ollama 负责在本机把大模型跑起来（GitHub 搜索 ollama/ollama，截至 2026-09-07 约 18 万星，协议 MIT）；Open WebUI 负责给你一个接近 ChatGPT 的网页聊天界面（搜索 open-webui/open-webui，约 15 万星）。官方定位是能完全离线跑的自托管 AI 平台。

分工很清楚：Ollama 装完后在后台开一个本机接口，只负责推理；Open WebUI 连上这个接口，提供切模型、多轮对话、历史记录、传文件。两边都支持 Windows、Mac、Linux。显卡一般就选小参数模型，CPU 也能跑，只是慢。

本期讲的是把安装丢给 Codex：你只说一句「给我装个本地 AI」，它在终端里自己装引擎、挑模型、配界面。这是 Codex 最熟的活——敲命令、读报错、自己修。想要纯本地，务必关掉 Ollama 的云端模型标签，以及 Open WebUI 的联网搜索，否则数据还会出去。

📎 相关链接与下载地址（点击展开）

Ollama：https://github.com/ollama/ollama
Open WebUI：https://github.com/open-webui/open-webui
Ollama 官网：https://ollama.com
本机接口：Ollama 默认 http://127.0.0.1:11434 ；Open WebUI 默认 http://127.0.0.1:8080
更多教程：关注公众号 / 抖音 / 视频号「IT小圈」

✨ 核心亮点

🖥️

模型跑在本机

推理走本机接口，不经过别人的服务器。关掉云端模型和联网搜索后，断网也能聊。

💬

聊天界面齐全

切模型不用重启、多轮对话、历史记录、传文件接着问，观感接近常用在线聊天产品。

📦

模型库随拉随换

Ollama 模型库里几百个开源模型，一条 ollama pull 就能换脑子。小的快，大的聪明。

🤖

安装能丢给 Codex

装引擎、拉模型、配界面全是终端命令。把需求丢给 Codex，报错它自己读日志自己修。

🧩 它能做什么、输出什么

项目	说明
输入	文本对话；Open WebUI 可传文件、图片（取决于所选模型是否支持多模态）
适用类型	本地问答、写代码、读文档、离线试用开源模型，不想把内容发到云端的场景
输出	流式文本回复；历史会话保存在本机；可切换不同已下载模型
语言 / 兼容	Windows / macOS / Linux；中英文模型都有，选带 instruct 的中文友好版本
规格 / 容量	模型体量从 1B 到 70B+；显存不够就选量化小模型，或只用 CPU（更慢）

🖥️ 环境要求

环境	建议配置
操作系统	Windows 10/11、macOS、主流 Linux
运行环境	Ollama 官方安装包即可；Open WebUI 可用桌面版、pip / uv，或 Docker
硬件	8GB 内存起步；有独显更流畅。7B 量化模型大约要 6–8GB 显存
低配 / 无卡方案	选 1B–3B 小模型，走 CPU。能聊，但出字慢，录屏前先试速度
关键依赖	Ollama 服务保持运行；Open WebUI 连本机接口。不要打开云端模型和联网搜索

🚀 如何使用

💡

最快路径：装 Ollama → 拉一个小模型 → 装 Open WebUI 连上本机接口。也可以把整段需求丢给 Codex，让它在终端里跑。

安装 Ollama

Windows 用官方安装包或 winget；Mac 用官方安装包。装完打开终端，能跑通下面这句就算服务起来了。

                        powershell
                        winget install Ollama.Ollama
ollama --version
                    

拉一个能跑得动的模型

在 GitHub / Ollama 模型库搜索模型名。没独显先拉小的，比如 3B；有 8GB 显存再试 7B。命令里的名字以模型库页面为准。

                        bash
                        ollama pull qwen2.5:3b
ollama run qwen2.5:3b
                    

装 Open WebUI 并连上接口

有桌面版就直接装；习惯命令行用 pip / uv。装完用浏览器打开本机页面，左上角选刚拉下来的模型。具体端口写在页底「相关链接」折叠块里。

                        bash
                        pip install open-webui
open-webui serve
                    

选型说明：

选项	作用
小模型（1B–3B）	CPU / 弱显卡能跑，出字快，能力一般
中模型（7B 量化）	8GB 显存友好，日常问答和写代码够用
大模型（14B+）	更聪明，吃显存。显卡一般别硬上
云端模型标签	打开会把推理送到云端，纯本地必须关
联网搜索	打开会把内容发给外部服务，纯本地必须关

换模型、传文件

再拉一个模型不用重启界面，左上角下拉就能切。Open WebUI 输入框旁边的加号可以传文件，选支持长文本或视觉的模型再问文档/图片。

                        bash
                        ollama pull qwen2.5:7b
ollama list
                    

结合 Codex 使用

把需求写成一句话交给 Codex，例如：「在这台 Windows 电脑上安装 Ollama，拉一个适合当前显卡的小模型，再装 Open WebUI 连上本机接口；云端模型和联网搜索都关掉。」它会自己敲命令、读报错、改到跑通。你只负责验收：浏览器能打开、断网还能回答。

✅

装通的标志：本机聊天页能选到刚拉的模型，发一句有回复，且云端模型、联网搜索两个开关是关的。

🎯 典型应用场景

📝

本地写稿改稿

草稿不出门，适合不想把原文丢到云端的场景。

💻

本机问代码

贴一段报错或函数，让本地模型先给思路，再交给 Codex 落地。

📄

读自己的文件

把说明书、笔记丢进对话框，基于本地文件问答。

🧪

对比不同模型

同一句话换几个模型问，看谁更适合你的机器和任务。

📴

弱网 / 离线试用

模型已在硬盘上时，断网也能继续聊。

🎓

给 Codex 当靶场

练「一句话让它装环境」：命令、报错、自愈，全程在终端里发生。

📈 性能表现

指标	表现
和在线聊天产品比	能力看你拉的模型，不看厂商套餐。弱在大模型效果，强在数据不出门
和只装 Ollama 终端比	终端能聊，但没有历史、切模型、传文件这些界面能力
和只装 Open WebUI 比	界面再好看，后面没有本机引擎也转不起来
安装路径	自己敲命令大约半小时；丢给 Codex 取决于网速和下模型体积

🧠

Ollama 把模型权重放本机，用本机接口对外；Open WebUI 只是这个接口的前端。所以「纯本地」取决于两个开关，不取决于界面长得像不像 ChatGPT。

❓ 常见问题

Q: 这和直接用在线 ChatGPT 有什么区别？

在线产品强在模型和联网；这套强在模型在你硬盘上。能力取决于你拉的开源模型，不是「装了界面就等于满血」。

Q: Windows / Mac / Linux 都能装吗？

都能。Ollama 和 Open WebUI 都提供三端安装方式。Windows 没独显就选小模型走 CPU。

Q: 装完打不开页面或连不上模型怎么办？

先在终端跑 ollama list 确认服务和模型都在。Open WebUI 连的是本机接口，不是云端。端口以「相关链接」折叠块为准。报错日志丢给 Codex，让它对着修。

Q: 显存 / 内存不够怎么办？

换更小的量化模型，或只用 CPU。不要硬拉 14B+。录视频前先看一眼出字速度，太慢换模型。

Q: 模型怎么选？

先小后大：3B 能跑再试 7B。中文任务优先选带 instruct、社区评价偏中文的型号。同一句话换两个模型对比一次最准。

Q: 怎么让 Codex 帮忙装？

一句话说清三件事：装 Ollama、拉适合这台机器的模型、装 Open WebUI 并连上。补一句：关掉云端模型和联网搜索。不要让它「操作软件点鼠标」，只让它在终端里跑命令。

Q: Ollama 和 Open WebUI 是一家的吗？

不是。Ollama 管推理，Open WebUI 管界面，用本机接口对接。可以只用 Ollama 终端聊，但没有完整聊天页。

Q: 可以商用吗？

Ollama 是 MIT；Open WebUI 请到仓库看当前 LICENSE。模型本身还有各自许可证，商用前分别核对，不要只看界面项目。