# 在 More AI 中通过 Ollama 与 LM Studio 运行本地推理

> 在自己的硬件上执行模型请求，不产生 API 账单，推理也无需联网。关闭同步、在线工具、总遥测开关和 AI 可观测性（包括 replay）时，提示词与回答会留在你的电脑上。

https://more-ai.net/zh/guides/local-models · 更新于 2026年9月14日

## 为什么在本地运行模型

只有所选模型确实运行在本机时，本地地址才会省去云端模型服务商这一跳。localhost 也可能把请求转发到云模型，因此要检查模型和运行时设置。

本地推理没有服务商按 token 收取的账单，但仍需要硬件、电力、存储和时间。能力取决于具体模型、量化、上下文和可用内存。先测试一个小任务，再决定是否用于完整工作流程。

## Ollama：最快的路线

连接 More AI 前先启动本地服务。Ollama 默认使用 http://localhost:11434/v1。在 LM Studio 中加载模型并启动本地服务器，通常为 http://localhost:1234/v1；如果启用了服务端认证，请填写 token。这些本地地址与服务商的云端服务不同。

## LM Studio：友好的模型管理器

Ollama 默认地址为 http://localhost:11434/v1，LM Studio 为 http://localhost:1234/v1。先启动服务并加载模型。Ollama 本地服务无需密钥；若启用了 LM Studio 的可选服务端认证，需要填写相应 token。自定义服务器还需检查协议与工具调用支持。

## 其他任何服务器：自定义端点

在运行 vLLM、llama.cpp 或 LiteLLM 代理？添加一个自定义提供商，把它指向任何讲 OpenAI 兼容 Chat Completions API 的端点（基础 URL 通常以 /v1 结尾）——或指向一个兼容 Anthropic 的 Messages 端点。这几乎覆盖了所有自托管的模型服务器，无论它在你的电脑上，还是在局域网里的另一台机器上。

![模型选择器中本地模型与云端提供商并列显示](https://more-ai.net/screenshots/zh/models.png)

## 本地与云端混着用

不必一次定终身。密钥和本地服务商可以并存，每段对话自行选模型：草稿和快速问题用本地模型，更难的任务再切到前沿模型。切换只需两次点击。

主页与 Code 通过同一引擎使用本地模型，过去的 Chat 对话也能继续使用。尽量选择硬件能够承载的最强本地模型：规划与工具调用尤其受益于更强的能力。

## 先确认服务可用，再测试工具调用

OpenAI 兼容接口不代表每个模型都能可靠使用工具。请查看模型卡和运行时当前的 tool calling 支持，并记录版本、模型 ID、量化、上下文与可用 RAM/VRAM。

1. 先下载适合硬件的模型。Ollama 通常使用 http://localhost:11434/v1；LM Studio 需先加载模型并启动 http://localhost:1234/v1 服务。
2. 在“设置 → 服务商”中启用对应服务商。LM Studio 若启用认证，填写服务端 token；刷新列表并选中实际下载的模型。
3. 先发一个简短文本请求，再运行下面的文件任务。聊天成功不等于工具调用成功；遇到循环或工具错误时停止并记录。

- [Ollama：兼容 API](https://docs.ollama.com/api/openai-compatibility)
- [Ollama：工具调用](https://docs.ollama.com/capabilities/tool-calling)
- [LM Studio：兼容 API](https://lmstudio.ai/docs/developer/openai-compat)

## 用虚构文件检查本地智能体

示例包包含虚构项目说明、中英俄提示词和预期答案。要求读取说明，在 output/summary.txt 中列出三个项目及待办 T03，不修改输入、不访问网络。

检查三个项目是否齐全、T03 是否仍为 pending、原文件是否未变，并记录版本、模型、耗时、错误和人工修正。这是一份测试方案，并非 More AI 实测结果。

- [本地任务示例包（.zip）](https://more-ai.net/examples/local-task-kit.zip)
- [Word 与 Excel 练习](https://more-ai.net/zh/guides/free-ai-for-documents)

## 本地模型与数据流是两项检查

localhost 只说明推理服务的地址，并不证明所有功能都不传出数据。未登录时桌面工作不同步；登录后支持的同步类别默认开启，可分别关闭。云端执行是独立开关，项目文件 E2E 可选且默认关闭。

先准备模型和依赖，关闭同步、云端执行、联网工具、远程连接器、主遥测和 AI 可观测性（含 replay），再断网重复小任务。成功仅说明该任务在这些设置下能运行，不等于完整隐私审计，也不保证全部功能离线可用。

- [同步与云端执行](https://more-ai.net/zh/guides/sync-and-web-app)
- [隐私政策](https://more-ai.net/zh/privacy)

## 常见问题

### 运行本地模型真的免费吗？

本地推理没有服务商按 token 收取的账单，但仍需要硬件、电力、存储和时间。能力取决于具体模型、量化、上下文和可用内存。先测试一个小任务，再决定是否用于完整工作流程。

### 哪些工作可以离线完成？

只有模型、依赖和输入文件都已准备在本地的自包含任务，才适合测试离线运行。同步、云端执行、网页搜索和远程连接器需要网络。还应分别检查遥测和 AI 可观测性/replay；断网测试不能替代完整的隐私审计。

### 我需要什么样的硬件？

硬件需求取决于模型大小、量化、上下文与并发任务。先核对模型和运行时要求，为操作系统保留内存，再用小任务记录内存占用和延迟。一个固定的内存数字不能保证智能体效果。

### More AI 支持哪些本地服务器？

Ollama 默认地址为 http://localhost:11434/v1，LM Studio 为 http://localhost:1234/v1。先启动服务并加载模型。Ollama 本地服务无需密钥；若启用了 LM Studio 的可选服务端认证，需要填写相应 token。自定义服务器还需检查协议与工具调用支持。

### 编码智能体能用本地模型吗？

能——Code 模式跑在同一套引擎上，因此本地模型同样可以做规划和编辑。智能体工作更青睐强模型，所以请选用你硬件能承载的最强本地模型，或者把那一次会话切到云端密钥。

## 更多指南

- [More AI 入门：从下载到你的第一个任务](https://more-ai.net/zh/guides/getting-started.md): 安装免费的桌面应用，添加服务商密钥，大约五分钟即可在主页开始第一个任务。未登录时工作不会同步；登录后已配置的同步类别默认开启，而云端执行仍需单独启用。
- [自带 API Key：费用、限制与可复用的成本表](https://more-ai.net/zh/guides/bring-your-own-key.md): 了解模型计费、重试与独立的云端费用。下载工作表，计算已验收任务的成本；BYOK 不一定比订阅便宜。
- [掌控智能体能做什么：工具与权限](https://more-ai.net/zh/guides/agent-tools.md): More AI 的智能体可以读写文件、运行命令、搜索网页、安排例程并连接应用。每项能力都可关闭；命令审批行为由所选访问模式决定。
- [零成本用 AI 写代码：跑在免费模型上的真智能体](https://more-ai.net/zh/guides/free-ai-coding.md): 免费的桌面应用可以用提供商免费额度或本地模型运行 Code。这里讲如何启动本地 Code、哪些免费模型真的会写代码、它们的限制，以及云端计费有何不同。

---

More AI — 一个 AI 智能体，处理文档、调研和代码——桌面端、网页、终端和手机都能用，使用你自己的 API 密钥，按服务商价格付费。

- 下载: https://more-ai.net/zh#download
- 文档: https://more-ai.net/zh/docs.md
- 指南: https://more-ai.net/zh/guides
- llms.txt: https://more-ai.net/zh/llms.txt