Запустите локальный инференс моделей в More AI через Ollama и LM Studio

Запускайте запросы к модели на своём железе без счёта за API и интернета для инференса. Когда выключены синхронизация, онлайн-инструменты, основная телеметрия и AI observability с replay, запросы и ответы остаются на вашей машине.

Команда More AI · Обновлено 14 сентября 2026 г.

Зачем запускать модель локально

Локальный адрес исключает обращение к облачному провайдеру только когда выбранная модель действительно работает на вашей машине. Даже localhost может направлять запрос к облачной модели — проверьте выбор модели и настройки runtime.

За локальный инференс нет счёта провайдера за токены. Но остаются расходы на оборудование, электричество, хранение и ваше время. Результат зависит от конкретной модели, квантизации, контекста и памяти; сначала проверьте небольшую задачу.

Ollama: самый быстрый путь

Сначала запустите локальный сервер. Ollama по умолчанию доступна по http://localhost:11434/v1. В LM Studio загрузите модель и включите сервер, обычно http://localhost:1234/v1; укажите токен, если включили авторизацию сервера. Это локальные адреса, отдельные от облачных сервисов провайдеров.

LM Studio: дружелюбный менеджер моделей

Ollama по умолчанию использует http://localhost:11434/v1, LM Studio — http://localhost:1234/v1. Перед подключением запустите сервер и загрузите модель. Локальной Ollama ключ не нужен; LM Studio может требовать токен при включённой авторизации сервера. Для своего сервера отдельно проверяйте протокол и поддержку инструментов.

Любой другой сервер: кастомные эндпоинты

Используете vLLM, llama.cpp или прокси LiteLLM? Добавьте кастомного провайдера и направьте его на любой эндпоинт, говорящий на OpenAI-совместимом Chat Completions API (базовый URL обычно заканчивается на /v1), — или на Anthropic-совместимый эндпоинт Messages. Это покрывает практически любой self-hosted сервер моделей — на вашей машине или на компьютере в вашей локальной сети.

Селектор моделей со списком локальных моделей рядом с облачными провайдерами

Смешивайте локальное и облачное

Выбирать раз и навсегда не нужно. Ключи и локальные провайдеры живут бок о бок, и каждая переписка выбирает модель: локальная — для черновиков и быстрых вопросов, флагманская — для более сложных задач. Переключение занимает два клика.

Главная и Code работают с локальными моделями через один движок; прежние переписки Chat тоже можно продолжать с ними. Выбирайте самую способную модель, которую потянет ваше железо: планирование и инструменты особенно выигрывают от более сильной модели.

Сначала проверьте сервер, затем агента

Ollama и LM Studio предоставляют OpenAI-совместимые интерфейсы, но совместимость API не гарантирует надёжные инструменты у каждой модели. Выберите модель с поддержкой tool calling в её актуальной документации и runtime, затем проверьте маленькую файловую задачу. Ответ в чате — лишь первая проверка.

Установите runtime и скачайте модель под своё оборудование. Запишите версию, ID модели, квантизацию, контекст и доступную RAM/VRAM.
Запустите сервер: обычно http://localhost:11434/v1 для Ollama или http://localhost:1234/v1 для LM Studio. Без необходимости не открывайте его в сеть.
Включите соответствующего провайдера в «Настройки → Провайдеры». Если в LM Studio включена авторизация, укажите токен. Обновите список и выберите скачанную модель.
Сначала отправьте короткий текстовый запрос, затем выполните файловую задачу ниже. Записывайте ошибки инструментов и останавливайте зацикливание.

Небольшая локальная задача с файлами

В архиве вымышленные заметки о проектах, промпты на трёх языках и ожидаемый ответ. Попросите прочитать заметки и создать output/summary.txt с названиями трёх проектов и незавершённой задачей T03. Для упражнения не разрешайте менять исходники или обращаться в интернет.

Откройте результат: все три проекта должны присутствовать, T03 остаётся pending, исходники не изменены. Запишите версии, модель, время, ошибки инструментов и ручные исправления. Это инструкция для теста, а не опубликованный замер More AI.

Проверяйте передачу данных отдельно от расположения модели

Адрес localhost показывает адрес сервера инференса, но не направления передачи данных каждой функции. Без входа в аккаунт десктопная работа не синхронизируется. После входа поддерживаемые категории синхронизации включены по умолчанию, если вы их не выключили; облачное выполнение управляется отдельно. E2E для файлов проектов опционально и изначально выключено.

Для локального упражнения заранее подготовьте модель и зависимости, выключите синхронизацию и облачное выполнение, онлайн-инструменты и удалённые коннекторы, общую телеметрию и AI observability, включая replay. Затем отключите сеть и повторите маленькую задачу. Успех проверяет только эту задачу с такими настройками, а не заменяет аудит приватности и не обещает офлайн-работу всех функций.

Частые вопросы

Действительно ли локальная модель бесплатна?

Что работает офлайн?

Офлайн можно проверить самодостаточную задачу, если модель, зависимости и исходные файлы уже находятся на компьютере. Синхронизации, облачному запуску, веб-поиску и удалённым коннекторам нужен интернет. Телеметрию и AI observability/replay проверяйте отдельно: тест с отключённой сетью не заменяет аудит приватности.

Какое железо мне нужно?

Требования зависят от размера модели, квантизации, контекста и параллельных задач. Сверьтесь с требованиями модели и runtime, оставьте память для системы и измерьте расход памяти и задержку на маленькой задаче. Одно число гигабайт не гарантирует качество работы агента.

Какие локальные серверы поддерживает More AI?

Может ли кодовый агент использовать локальную модель?

Да — режим Code работает через тот же движок, так что локальная модель тоже умеет планировать и вносить правки. Агентная работа вознаграждает модели посильнее, поэтому берите самую способную локальную модель, которую потянет ваше железо, или переключите конкретную сессию на облачный ключ.

Как работает More AI

От загрузки до первого результата — три шага

Понадобится только ключ ИИ-модели. Если его нет, OpenRouter выдаст его за пару минут. Аккаунт — по желанию.

Установите бесплатное приложение

Для macOS, Windows и Linux. Обновляется само.

Вставьте ключ

OpenRouter, OpenAI, Anthropic, Google, DeepSeek и ещё 30+ провайдеров — или модель, которая работает прямо на вашем компьютере. Модель можно выбрать под каждую задачу.

Попросите результат

Укажите папку, сайт или репозиторий и скажите, что нужно. Каждое изменение видно до того, как вы его примете.

Все гайды