在 More AI 中通过 Ollama 与 LM Studio 运行本地推理

为什么在本地运行模型 #

只有所选模型确实运行在本机时，本地地址才会省去云端模型服务商这一跳。localhost 也可能把请求转发到云模型，因此要检查模型和运行时设置。

本地推理没有服务商按 token 收取的账单，但仍需要硬件、电力、存储和时间。能力取决于具体模型、量化、上下文和可用内存。先测试一个小任务，再决定是否用于完整工作流程。

Ollama：最快的路线 #

连接 More AI 前先启动本地服务。Ollama 默认使用 http://localhost:11434/v1。在 LM Studio 中加载模型并启动本地服务器，通常为 http://localhost:1234/v1；如果启用了服务端认证，请填写 token。这些本地地址与服务商的云端服务不同。

LM Studio：友好的模型管理器 #

Ollama 默认地址为 http://localhost:11434/v1，LM Studio 为 http://localhost:1234/v1。先启动服务并加载模型。Ollama 本地服务无需密钥；若启用了 LM Studio 的可选服务端认证，需要填写相应 token。自定义服务器还需检查协议与工具调用支持。

其他任何服务器：自定义端点 #

在运行 vLLM、llama.cpp 或 LiteLLM 代理？添加一个自定义提供商，把它指向任何讲 OpenAI 兼容 Chat Completions API 的端点（基础 URL 通常以 /v1 结尾）——或指向一个兼容 Anthropic 的 Messages 端点。这几乎覆盖了所有自托管的模型服务器，无论它在你的电脑上，还是在局域网里的另一台机器上。

本地与云端混着用 #

不必一次定终身。密钥和本地服务商可以并存，每段对话自行选模型：草稿和快速问题用本地模型，更难的任务再切到前沿模型。切换只需两次点击。

主页与 Code 通过同一引擎使用本地模型，过去的 Chat 对话也能继续使用。尽量选择硬件能够承载的最强本地模型：规划与工具调用尤其受益于更强的能力。

先确认服务可用，再测试工具调用 #

OpenAI 兼容接口不代表每个模型都能可靠使用工具。请查看模型卡和运行时当前的 tool calling 支持，并记录版本、模型 ID、量化、上下文与可用 RAM/VRAM。

1. 先下载适合硬件的模型。Ollama 通常使用 http://localhost:11434/v1；LM Studio 需先加载模型并启动 http://localhost:1234/v1 服务。
2. 在“设置 → 服务商”中启用对应服务商。LM Studio 若启用认证，填写服务端 token；刷新列表并选中实际下载的模型。
3. 先发一个简短文本请求，再运行下面的文件任务。聊天成功不等于工具调用成功；遇到循环或工具错误时停止并记录。

• Ollama：兼容 API
• Ollama：工具调用
• LM Studio：兼容 API

用虚构文件检查本地智能体 #

示例包包含虚构项目说明、中英俄提示词和预期答案。要求读取说明，在 output/summary.txt 中列出三个项目及待办 T03，不修改输入、不访问网络。

检查三个项目是否齐全、T03 是否仍为 pending、原文件是否未变，并记录版本、模型、耗时、错误和人工修正。这是一份测试方案，并非 More AI 实测结果。

• 本地任务示例包（.zip）
• Word 与 Excel 练习

本地模型与数据流是两项检查 #

localhost 只说明推理服务的地址，并不证明所有功能都不传出数据。未登录时桌面工作不同步；登录后支持的同步类别默认开启，可分别关闭。云端执行是独立开关，项目文件 E2E 可选且默认关闭。

先准备模型和依赖，关闭同步、云端执行、联网工具、远程连接器、主遥测和 AI 可观测性（含 replay），再断网重复小任务。成功仅说明该任务在这些设置下能运行，不等于完整隐私审计，也不保证全部功能离线可用。

• 同步与云端执行
• 隐私政策

常见问题 #

运行本地模型真的免费吗？

本地推理没有服务商按 token 收取的账单，但仍需要硬件、电力、存储和时间。能力取决于具体模型、量化、上下文和可用内存。先测试一个小任务，再决定是否用于完整工作流程。

哪些工作可以离线完成？

只有模型、依赖和输入文件都已准备在本地的自包含任务，才适合测试离线运行。同步、云端执行、网页搜索和远程连接器需要网络。还应分别检查遥测和 AI 可观测性/replay；断网测试不能替代完整的隐私审计。

我需要什么样的硬件？

硬件需求取决于模型大小、量化、上下文与并发任务。先核对模型和运行时要求，为操作系统保留内存，再用小任务记录内存占用和延迟。一个固定的内存数字不能保证智能体效果。

More AI 支持哪些本地服务器？

Ollama 默认地址为 http://localhost:11434/v1，LM Studio 为 http://localhost:1234/v1。先启动服务并加载模型。Ollama 本地服务无需密钥；若启用了 LM Studio 的可选服务端认证，需要填写相应 token。自定义服务器还需检查协议与工具调用支持。

编码智能体能用本地模型吗？

能——Code 模式跑在同一套引擎上，因此本地模型同样可以做规划和编辑。智能体工作更青睐强模型，所以请选用你硬件能承载的最强本地模型，或者把那一次会话切到云端密钥。

More AI 如何工作

从下载到第一个结果，只要三步

你只需要一个 AI 模型的密钥。还没有的话，在 OpenRouter 几分钟就能拿到。账号不是必需的。

安装免费应用

支持 macOS、Windows 和 Linux，会自动更新。

粘贴你的密钥

OpenRouter、OpenAI、Anthropic、Google、DeepSeek 等 30 多家服务商都支持，也可以用在你自己电脑上运行的模型。每个任务都能单独选模型。

说出你要的结果

指定一个文件夹、网站或代码仓库，说清楚需要什么。每处改动都会先给你过目。