# Lokale Modellinferenz in More AI mit Ollama und LM Studio

> Führe Modellanfragen auf eigener Hardware aus — ohne API-Rechnung und ohne Internet für die Inferenz. Sind Sync, Online-Tools, Haupttelemetrie und KI-Observability einschließlich Replay aus, bleiben Prompts und Antworten auf deinem Rechner.

https://more-ai.net/de/guides/local-models · Aktualisiert am 7. Oktober 2026

## Warum ein Modell lokal laufen lassen

Ein lokaler Endpunkt vermeidet den Cloud-Anbieter nur, wenn das gewählte Modell tatsächlich auf deinem Rechner läuft. Auch localhost kann an ein Cloud-Modell weiterleiten; prüfe Modell und Laufzeiteinstellungen.

Lokale Inferenz hat keine Tokenrechnung eines Modellanbieters. Hardware, Strom, Speicher und Zeit kosten trotzdem etwas. Die Eignung hängt vom konkreten Modell, der Quantisierung, dem Kontext und dem verfügbaren Speicher ab. Teste zuerst eine kleine Aufgabe.

## Ollama: der schnellste Weg

Starte vor dem Verbinden den lokalen Server. Ollama verwendet standardmäßig http://localhost:11434/v1. Lade in LM Studio ein Modell und starte den Server, meist http://localhost:1234/v1; bei aktivierter Serverauthentifizierung gibst du das Token ein. Diese lokalen Endpunkte unterscheiden sich von den Cloud-Diensten.

## LM Studio: ein freundlicher Modell-Manager

Ollama verwendet standardmäßig http://localhost:11434/v1, LM Studio http://localhost:1234/v1. Starte den Server und lade das Modell zuerst. Lokales Ollama benötigt keinen Schlüssel; LM Studio kann bei aktivierter Serverauthentifizierung ein Token verlangen. Bei eigenen Servern sind Protokoll und Werkzeugunterstützung zu prüfen.

## Jeder andere Server: eigene Endpunkte

Du betreibst vLLM, llama.cpp oder einen LiteLLM-Proxy? Füge einen eigenen Anbieter hinzu und richte ihn auf jeden Endpunkt, der die OpenAI-kompatible Chat-Completions-API spricht (die Basis-URL endet meist auf /v1) — oder auf einen Anthropic-kompatiblen Messages-Endpunkt. Das deckt praktisch jeden selbst gehosteten Modellserver ab, auf deinem Rechner oder auf einer Kiste in deinem LAN.

![Der Modell-Picker mit lokalen Modellen neben Cloud-Anbietern](https://more-ai.net/screenshots/de/models.png)

## Lokal und Cloud mischen

Du musst dich nicht ein für alle Mal entscheiden. Schlüssel und lokale Anbieter leben Seite an Seite, und jede Unterhaltung wählt ihr Modell: lokal für Entwürfe und schnelle Fragen, Frontier für schwierigere Aufgaben. Der Wechsel sind zwei Klicks.

„Start“ und Code nutzen lokale Modelle über dieselbe Engine; auch frühere Chat-Unterhaltungen können sie weiterverwenden. Nimm das leistungsfähigste lokale Modell, das deine Hardware stemmt: Planung und Werkzeuge profitieren besonders von einem stärkeren Modell.

## Den Server vor dem Agenten testen

Eine OpenAI-kompatible Schnittstelle garantiert noch keine zuverlässigen Werkzeugaufrufe. Prüfe die Modellbeschreibung und die Unterstützung durch deine Laufzeit. Eine Textantwort ist nur der erste Test; danach folgt eine kleine Dateiaufgabe.

1. Installiere die Laufzeit und lade ein Modell, das zu deiner Hardware passt. Notiere Laufzeitversion, Modell-ID, Quantisierung, Kontextlänge und verfügbaren RAM beziehungsweise VRAM.
2. Starte den lokalen Server: Ollama normalerweise unter http://localhost:11434/v1, LM Studio unter http://localhost:1234/v1. Beschränke ihn auf deinen Rechner, sofern du keinen Netzwerkzugriff benötigst.
3. Aktiviere den passenden Anbieter in Einstellungen → Anbieter. Trage bei aktivierter LM-Studio-Authentifizierung das Server-Token ein. Aktualisiere die Modellliste und wähle genau das heruntergeladene Modell.
4. Sende eine kurze Textanfrage und führe dann die Dateiaufgabe aus. Notiere Werkzeugfehler und stoppe Wiederholungsschleifen, statt sie als Fortschritt zu werten.

- [Ollama — OpenAI-Kompatibilität](https://docs.ollama.com/api/openai-compatibility)
- [Ollama — Werkzeugaufrufe](https://docs.ollama.com/capabilities/tool-calling)
- [LM Studio — kompatible API](https://lmstudio.ai/docs/developer/openai-compat)

## Eine kleine lokale Dateiaufgabe

Das Testpaket enthält fiktive Projektnotizen, Prompts auf Englisch, Russisch und Chinesisch sowie eine Referenzantwort. Gib dem Agenten diese Aufgabe: Lies die Notizen und erstelle output/summary.txt mit den drei Projektnamen und der weiterhin offenen Aufgabe T03. Erlaube dabei weder Änderungen an den Eingaben noch Webzugriff.

Öffne das Ergebnis selbst: Alle drei Projekte müssen vorkommen, T03 muss offen bleiben und die ursprünglichen Notizen dürfen nicht verändert sein. Halte Modell- und Laufzeitversion, Dauer, Werkzeugfehler und manuelle Korrekturen fest. Dies ist eine Testanleitung, kein veröffentlichter Leistungstest von More AI.

- [Lokales Testpaket (.zip)](https://more-ai.net/examples/local-task-kit.zip)
- [Eine größere Word- und Excel-Aufgabe](https://more-ai.net/de/guides/free-ai-for-documents)

## Den Datenfluss gesondert prüfen

Eine localhost-Adresse zeigt, an welchen Inferenzserver die Anfrage geht, aber nicht den Datenfluss aller App-Funktionen. Ohne Anmeldung wird Desktop-Arbeit nicht synchronisiert. Nach der Anmeldung sind unterstützte Sync-Kategorien standardmäßig aktiv, sofern du sie nicht ausschaltest. Cloud-Ausführung ist eine separate Einstellung; die Ende-zu-Ende-Verschlüsselung von Projektdateien ist optional und zunächst aus.

Bereite für einen rein lokalen Versuch zuerst Modell und Abhängigkeiten vor. Deaktiviere Sync, Cloud-Ausführung, Online-Werkzeuge, entfernte Konnektoren, Haupttelemetrie und AI-Observability einschließlich Replay. Trenne dann die Netzwerkverbindung und wiederhole die kleine Aufgabe. Ein erfolgreicher Versuch bestätigt nur diese Aufgabe unter diesen Einstellungen, keine vollständige Datenschutzprüfung und keine Offline-Funktion aller Features.

- [Synchronisierung und Cloud-Ausführung](https://more-ai.net/de/guides/sync-and-web-app)
- [Datenschutzerklärung](https://more-ai.net/de/privacy)

## Häufige Fragen

### Ist ein lokales Modell wirklich kostenlos?

Lokale Inferenz hat keine Tokenrechnung eines Modellanbieters. Hardware, Strom, Speicher und Zeit kosten trotzdem etwas. Die Eignung hängt vom konkreten Modell, der Quantisierung, dem Kontext und dem verfügbaren Speicher ab. Teste zuerst eine kleine Aufgabe.

### Was funktioniert offline?

Offline lässt sich nur eine eigenständige Aufgabe testen, deren Modell, Abhängigkeiten und Eingabedateien bereits lokal vorhanden sind. Synchronisierung, Cloud-Ausführung, Websuche und entfernte Konnektoren benötigen Netzverbindung. Prüfe Telemetrie und AI-Observability/Replay separat; ein Test ohne Netz ersetzt keinen vollständigen Datenschutzaudit.

### Welche Hardware brauche ich?

Die Anforderungen hängen von Modellgröße, Quantisierung, Kontext und parallelen Aufgaben ab. Prüfe Modell und Laufzeit, lasse Speicher für das Betriebssystem frei und miss Speicherbedarf und Antwortzeit an einer kleinen Aufgabe. Eine feste RAM-Zahl garantiert keine gute Agentenleistung.

### Welche lokalen Server unterstützt More AI?

Ollama verwendet standardmäßig http://localhost:11434/v1, LM Studio http://localhost:1234/v1. Starte den Server und lade das Modell zuerst. Lokales Ollama benötigt keinen Schlüssel; LM Studio kann bei aktivierter Serverauthentifizierung ein Token verlangen. Bei eigenen Servern sind Protokoll und Werkzeugunterstützung zu prüfen.

### Kann der Coding-Agent ein lokales Modell nutzen?

Ja — der Code-Modus läuft durch dieselbe Engine, ein lokales Modell kann also auch planen und bearbeiten. Agenten-Arbeit belohnt stärkere Modelle: Nimm das leistungsfähigste lokale Modell, das deine Hardware stemmt, oder wechsle für diese eine Session auf einen Cloud-Schlüssel.

## Weitere Guides

- [Erste Schritte mit More AI: vom Download zur ersten Aufgabe](https://more-ai.net/de/guides/getting-started.md): Installiere die kostenlose Desktop-App, füge einen Anbieter-Schlüssel hinzu und starte in rund fünf Minuten deine erste Aufgabe unter „Start“. Ohne Anmeldung wird nichts synchronisiert; danach sind die eingerichteten Sync-Kategorien standardmäßig an, während Cloud-Ausführung separat aktiviert wird.
- [Eigener API-Schlüssel: Kosten, Limits und eine Vorlage](https://more-ai.net/de/guides/bring-your-own-key.md): API-Abrechnung, Wiederholungen und separate Cloud-Kosten verstehen. Mit der Vorlage misst du Kosten je akzeptierter Aufgabe; BYOK ist nicht immer günstiger als ein Abo.
- [Steuere, was der Agent darf: Tools & Berechtigungen](https://more-ai.net/de/guides/agent-tools.md): Der Agent von More AI kann Dateien lesen und schreiben, Befehle ausführen, das Web durchsuchen, Routinen planen und Apps verbinden. Jede Fähigkeit lässt sich abschalten; Befehlsfreigaben folgen dem gewählten Zugriffsmodus.
- [Kostenlos mit KI programmieren: ein echter Agent auf Modellen ohne Kosten](https://more-ai.net/de/guides/free-ai-coding.md): Die kostenlose Desktop-App kann Code mit Gratis-Kontingenten der Anbieter oder lokalen Modellen ausführen. Hier steht, wie Sie lokal starten, welche Modelle wirklich programmieren können, wo ihre Grenzen liegen und wie sich Cloud-Preise unterscheiden.

---

More AI — Ein KI-Agent für Dokumente, Recherche und Code – am Desktop, im Web, im Terminal und auf dem Handy, mit deinem eigenen API-Schlüssel zum Preis deines Anbieters.

- Herunterladen: https://more-ai.net/de#download
- Doku: https://more-ai.net/de/docs.md
- Guides: https://more-ai.net/de/guides
- llms.txt: https://more-ai.net/de/llms.txt