Ollama & Offline-Schreiben

Ollama führt heruntergeladene Modelle auf Ihrem Computer aus. Verbinden Sie es mit Oleafly, um lokale KI neben Ihrem Manuskript zu nutzen. Bereiten Sie das Modell und die Abhängigkeiten des Dokuments vor, solange Sie eine Verbindung haben, und testen Sie dann den Workflow, den Sie offline verwenden wollen.

Ollama installieren und starten

Installieren Sie Ollama von der offiziellen Download-Seite (öffnet in einem neuen Tab). Öffnen Sie Ollama oder starten Sie seinen lokalen Server in einem Terminal:

ollama serve

Wenn Ollama bereits läuft, verwenden Sie diesen vorhandenen Server. Laden Sie ein Modell herunter, das zu Ihrem Computer passt. Zum Beispiel:

ollama pull qwen3:8b
ollama list

Der erste Befehl lädt ein Modell herunter, der zweite listet lokale Modelle auf. Modellgröße, verfügbarer Arbeitsspeicher und Kontextlänge beeinflussen die Geschwindigkeit. Die Dokumentation (öffnet in einem neuen Tab) von Ollama beschreibt unterstützte Modelle und die Systemeinrichtung.

Nach Ollama suchen

Einstellungen → KI-Assistent → Anbieter und Schlüssel. Klappen Sie Ollama (lokal) unten in der Anbieterliste auf, um den Server zu prüfen und ein Modell zu wählen. Vollständigen Screenshot öffnen

1. Öffnen Sie Einstellungen → KI-Assistent → Anbieter und Schlüssel.
2. Klappen Sie Ollama auf.
3. Wählen Sie Nach Ollama suchen.
4. Prüfen Sie den Status und die Liste installierter Modelle.

Wenn die App ein installiertes, aber gestopptes Ollama findet, startet es Ollama starten. Wählen Sie Erneut prüfen, nachdem der Server gestartet ist oder Sie ein weiteres Modell heruntergeladen haben.

Ein lokales Modell wählen

Wählen Sie ein Modell aus der erkannten Liste und verwenden Sie die Aktion der Karte, um es anzuwenden. Öffnen Sie den Assistenten und bestätigen Sie, dass das lokale Modell ausgewählt ist, bevor Sie eine Nachricht senden.

Probieren Sie das mit einem Übungsdokument:

Erkläre die Struktur dieses Dokuments. Liste seine Abschnitte auf, ohne Dateien zu verändern.

Verwenden Sie für Bearbeitungen oder die Kompilierung ein Modell, das das Werkzeugverhalten unterstützt, das Oleafly benötigt. Prüfen Sie das Fähigkeitsergebnis des Modells; ein Modell, das chatten kann, kann nicht automatisch einen zuverlässigen Werkzeug-Workflow ausführen.

Host ändern

Wählen Sie Host ändern (fortgeschritten), um die Adresse des Ollama-Servers zu bearbeiten. Der übliche lokale Host ist http://127.0.0.1:11434. Verwenden Sie die eingebaute Ollama-Karte mit dem Server-Host; das Suffix /v1 gehört zu einer OpenAI-kompatiblen Endpunkt-Konfiguration.

Ein Server, der auf einem anderen Computer läuft, ist eine Netzwerkverbindung. Verwenden Sie die lokale Loopback-Adresse, wenn die Verarbeitung auf diesem Computer bleiben soll.

Stattdessen einen kompatiblen Anbieter verwenden

Für eine eigene OpenAI-kompatible Verbindung verwenden Sie den Endpunkt http://localhost:11434/v1/ von Ollama. Ollama akzeptiert das erforderliche API-Schlüssel-Feld des Kompatibilitäts-Clients, ohne es als Cloud-Zugangsdaten zu behandeln. Siehe Kompatibilitätsleitfaden von Ollama (öffnet in einem neuen Tab) und benutzerdefinierte Anbieter.

Kompilierung offline vorbereiten

Öffnen Sie das Dokument und kompilieren Sie es erfolgreich, solange Sie verbunden sind. Tectonic lädt fehlende TeX-Pakete bei Bedarf herunter und speichert sie im Cache; Typst macht dasselbe für Pakete aus dem Typst Universe. Aktivieren Sie dann Einstellungen → Allgemein → Offline-Modus und kompilieren Sie erneut, um zu prüfen, ob der Cache ausreicht. Der Offline-Modus umfasst LaTeX und Typst.

Ein Typst-Projekt kann auch eigene Pakete mitführen. Öffnen Sie Typst-Pakete in der Typst-Symbolleiste und wählen Sie Pakete ins Projekt kopieren. Oleafly kopiert die Pakete, die das Projekt importiert, in einen Ordner typst-packages, sodass das Projekt offline und auf anderen Computern kompiliert.

Installieren Sie bei einer System-TeX-Engine die erforderliche Distribution und die Pakete, bevor Sie die Verbindung trennen. Halten Sie Bilder, Literaturverzeichnis-Dateien, eingebundene Abschnitte und benötigte Schriften lokal verfügbar.

Ohne Netzwerkverbindung testen

1. Öffnen Sie das Projekt, das Sie verwenden werden.
2. Bestätigen Sie, dass Ollama läuft und das heruntergeladene Modell ausgewählt ist.
3. Trennen Sie die Netzwerkverbindung.
4. Kompilieren Sie das Dokument.
5. Bitten Sie das lokale Modell, einen Absatz zu erklären.
6. Probieren Sie die konkrete Bearbeitung oder den Werkzeug-Workflow aus, den Sie brauchen, und prüfen Sie das Ergebnis.

Schreiben, lokale Dateien, zwischengespeicherte Kompilierung und Anfragen an lokale Modelle können weitergehen. Online-Quellensuche, GitHub-Sync, Cloud-Modelle und MCP-Dienste im Netzwerk brauchen eigene Verbindungen. Oleaflys Offline-Modus steuert die zwischengespeicherte Kompilierung und Zitatsuchen; er ist keine systemweite Netzwerk-Firewall.

Ollama trennen

Verwenden Sie Trennen auf der Anbieterkarte, um die gespeicherte Verbindung von Oleafly zu entfernen. Das löscht nicht die in Ollama installierten Modelle.

Fehlerbehebung

Läuft nicht

Starten Sie Ollama, bestätigen Sie Host und Port und wählen Sie dann Erneut prüfen. Wenn der Server meldet, dass sein Port bereits belegt ist, untersuchen Sie die vorhandene Instanz, bevor Sie eine weitere starten.

Keine installierten Modelle

Führen Sie ollama list aus. Laden Sie ein Modell herunter, warten Sie, bis der Download abgeschlossen ist, und prüfen Sie es in Oleafly erneut.

Das Modell antwortet, verwendet aber keine Werkzeuge

Prüfen Sie seinen Fähigkeitsstatus und versuchen Sie ein Modell mit Werkzeugunterstützung. Beginnen Sie mit einer kleinen Anfrage, die das Projekt liest, bevor Sie eine lange Folge aus Bearbeitung und Kompilierung anfordern.

Die Antwort hat nichts mit der Frage zu tun

Der Kontext des Modells ist wahrscheinlich zu klein. Oleaflys Projektanweisungen und Werkzeuge belegen Platz, bevor Ihre Nachricht das tut, und ein Kontext von 4.096 Tokens kann selbst eine kurze Anfrage abschneiden. Starten Sie den Ollama-Server mit mindestens 16.384 Tokens Kontext, zum Beispiel:

OLLAMA_CONTEXT_LENGTH=16384 ollama serve

Führen Sie in der Windows PowerShell $env:OLLAMA_CONTEXT_LENGTH = "16384" und danach ollama serve aus. Beenden Sie zuerst jedes laufende Ollama. Die Einstellung gehört zum Ollama-Server, nicht zu Oleafly. Längere Gespräche und größere Projekte brauchen mehr Kontext, und mehr Kontext verbraucht mehr Arbeitsspeicher. Der Leitfaden zur Kontextlänge (öffnet in einem neuen Tab) von Ollama hat die Details.

Die lokale Antwort ist langsam

Versuchen Sie ein kleineres Modell oder eine kürzere, stärker fokussierte Anfrage. Hängen Sie die relevante Datei oder den relevanten Abschnitt an, statt eine Prüfung der gesamten Abschlussarbeit auf einmal anzufordern.