Lokale Modellinferenz in More AI mit Ollama und LM Studio
Führe Modellanfragen auf eigener Hardware aus — ohne API-Rechnung und ohne Internet für die Inferenz. Sind Sync, Online-Tools, Haupttelemetrie und KI-Observability einschließlich Replay aus, bleiben Prompts und Antworten auf deinem Rechner.
Das More-AI-Team · Aktualisiert am 7. Oktober 2026
Warum ein Modell lokal laufen lassen
Ein lokaler Endpunkt vermeidet den Cloud-Anbieter nur, wenn das gewählte Modell tatsächlich auf deinem Rechner läuft. Auch localhost kann an ein Cloud-Modell weiterleiten; prüfe Modell und Laufzeiteinstellungen.
Lokale Inferenz hat keine Tokenrechnung eines Modellanbieters. Hardware, Strom, Speicher und Zeit kosten trotzdem etwas. Die Eignung hängt vom konkreten Modell, der Quantisierung, dem Kontext und dem verfügbaren Speicher ab. Teste zuerst eine kleine Aufgabe.
Ollama: der schnellste Weg
Starte vor dem Verbinden den lokalen Server. Ollama verwendet standardmäßig http://localhost:11434/v1. Lade in LM Studio ein Modell und starte den Server, meist http://localhost:1234/v1; bei aktivierter Serverauthentifizierung gibst du das Token ein. Diese lokalen Endpunkte unterscheiden sich von den Cloud-Diensten.
LM Studio: ein freundlicher Modell-Manager
Ollama verwendet standardmäßig http://localhost:11434/v1, LM Studio http://localhost:1234/v1. Starte den Server und lade das Modell zuerst. Lokales Ollama benötigt keinen Schlüssel; LM Studio kann bei aktivierter Serverauthentifizierung ein Token verlangen. Bei eigenen Servern sind Protokoll und Werkzeugunterstützung zu prüfen.
Jeder andere Server: eigene Endpunkte
Du betreibst vLLM, llama.cpp oder einen LiteLLM-Proxy? Füge einen eigenen Anbieter hinzu und richte ihn auf jeden Endpunkt, der die OpenAI-kompatible Chat-Completions-API spricht (die Basis-URL endet meist auf /v1) — oder auf einen Anthropic-kompatiblen Messages-Endpunkt. Das deckt praktisch jeden selbst gehosteten Modellserver ab, auf deinem Rechner oder auf einer Kiste in deinem LAN.
Lokal und Cloud mischen
Du musst dich nicht ein für alle Mal entscheiden. Schlüssel und lokale Anbieter leben Seite an Seite, und jede Unterhaltung wählt ihr Modell: lokal für Entwürfe und schnelle Fragen, Frontier für schwierigere Aufgaben. Der Wechsel sind zwei Klicks.
„Start“ und Code nutzen lokale Modelle über dieselbe Engine; auch frühere Chat-Unterhaltungen können sie weiterverwenden. Nimm das leistungsfähigste lokale Modell, das deine Hardware stemmt: Planung und Werkzeuge profitieren besonders von einem stärkeren Modell.
Den Server vor dem Agenten testen
Eine OpenAI-kompatible Schnittstelle garantiert noch keine zuverlässigen Werkzeugaufrufe. Prüfe die Modellbeschreibung und die Unterstützung durch deine Laufzeit. Eine Textantwort ist nur der erste Test; danach folgt eine kleine Dateiaufgabe.
- Installiere die Laufzeit und lade ein Modell, das zu deiner Hardware passt. Notiere Laufzeitversion, Modell-ID, Quantisierung, Kontextlänge und verfügbaren RAM beziehungsweise VRAM.
- Starte den lokalen Server: Ollama normalerweise unter http://localhost:11434/v1, LM Studio unter http://localhost:1234/v1. Beschränke ihn auf deinen Rechner, sofern du keinen Netzwerkzugriff benötigst.
- Aktiviere den passenden Anbieter in Einstellungen → Anbieter. Trage bei aktivierter LM-Studio-Authentifizierung das Server-Token ein. Aktualisiere die Modellliste und wähle genau das heruntergeladene Modell.
- Sende eine kurze Textanfrage und führe dann die Dateiaufgabe aus. Notiere Werkzeugfehler und stoppe Wiederholungsschleifen, statt sie als Fortschritt zu werten.
Eine kleine lokale Dateiaufgabe
Das Testpaket enthält fiktive Projektnotizen, Prompts auf Englisch, Russisch und Chinesisch sowie eine Referenzantwort. Gib dem Agenten diese Aufgabe: Lies die Notizen und erstelle output/summary.txt mit den drei Projektnamen und der weiterhin offenen Aufgabe T03. Erlaube dabei weder Änderungen an den Eingaben noch Webzugriff.
Öffne das Ergebnis selbst: Alle drei Projekte müssen vorkommen, T03 muss offen bleiben und die ursprünglichen Notizen dürfen nicht verändert sein. Halte Modell- und Laufzeitversion, Dauer, Werkzeugfehler und manuelle Korrekturen fest. Dies ist eine Testanleitung, kein veröffentlichter Leistungstest von More AI.
Den Datenfluss gesondert prüfen
Eine localhost-Adresse zeigt, an welchen Inferenzserver die Anfrage geht, aber nicht den Datenfluss aller App-Funktionen. Ohne Anmeldung wird Desktop-Arbeit nicht synchronisiert. Nach der Anmeldung sind unterstützte Sync-Kategorien standardmäßig aktiv, sofern du sie nicht ausschaltest. Cloud-Ausführung ist eine separate Einstellung; die Ende-zu-Ende-Verschlüsselung von Projektdateien ist optional und zunächst aus.
Bereite für einen rein lokalen Versuch zuerst Modell und Abhängigkeiten vor. Deaktiviere Sync, Cloud-Ausführung, Online-Werkzeuge, entfernte Konnektoren, Haupttelemetrie und AI-Observability einschließlich Replay. Trenne dann die Netzwerkverbindung und wiederhole die kleine Aufgabe. Ein erfolgreicher Versuch bestätigt nur diese Aufgabe unter diesen Einstellungen, keine vollständige Datenschutzprüfung und keine Offline-Funktion aller Features.
Häufige Fragen
Ist ein lokales Modell wirklich kostenlos?
Lokale Inferenz hat keine Tokenrechnung eines Modellanbieters. Hardware, Strom, Speicher und Zeit kosten trotzdem etwas. Die Eignung hängt vom konkreten Modell, der Quantisierung, dem Kontext und dem verfügbaren Speicher ab. Teste zuerst eine kleine Aufgabe.
Was funktioniert offline?
Offline lässt sich nur eine eigenständige Aufgabe testen, deren Modell, Abhängigkeiten und Eingabedateien bereits lokal vorhanden sind. Synchronisierung, Cloud-Ausführung, Websuche und entfernte Konnektoren benötigen Netzverbindung. Prüfe Telemetrie und AI-Observability/Replay separat; ein Test ohne Netz ersetzt keinen vollständigen Datenschutzaudit.
Welche Hardware brauche ich?
Die Anforderungen hängen von Modellgröße, Quantisierung, Kontext und parallelen Aufgaben ab. Prüfe Modell und Laufzeit, lasse Speicher für das Betriebssystem frei und miss Speicherbedarf und Antwortzeit an einer kleinen Aufgabe. Eine feste RAM-Zahl garantiert keine gute Agentenleistung.
Welche lokalen Server unterstützt More AI?
Ollama verwendet standardmäßig http://localhost:11434/v1, LM Studio http://localhost:1234/v1. Starte den Server und lade das Modell zuerst. Lokales Ollama benötigt keinen Schlüssel; LM Studio kann bei aktivierter Serverauthentifizierung ein Token verlangen. Bei eigenen Servern sind Protokoll und Werkzeugunterstützung zu prüfen.
Kann der Coding-Agent ein lokales Modell nutzen?
Ja — der Code-Modus läuft durch dieselbe Engine, ein lokales Modell kann also auch planen und bearbeiten. Agenten-Arbeit belohnt stärkere Modelle: Nimm das leistungsfähigste lokale Modell, das deine Hardware stemmt, oder wechsle für diese eine Session auf einen Cloud-Schlüssel.
So funktioniert More AI
Vom Download zum ersten Ergebnis in drei Schritten
Du brauchst nur einen Schlüssel für ein KI-Modell. Hast du keinen, bekommst du bei OpenRouter in ein paar Minuten einen. Ein Konto ist optional.
Installiere die kostenlose App
Für macOS, Windows und Linux. Sie hält sich selbst aktuell.
Füg deinen Schlüssel ein
OpenRouter, OpenAI, Anthropic, Google, DeepSeek und 30+ weitere Anbieter – oder ein Modell, das auf deinem eigenen Computer läuft. Wähl das Modell für jede Aufgabe.
Bitte um das Ergebnis
Zeig auf einen Ordner, eine Website oder ein Repository und sag, was du brauchst. Jede Änderung siehst du, bevor du sie übernimmst.