SillyTavern-NSFW-Bilder mit 8–16 GB VRAM: Halten Sie Ihren Chat am Laufen

Ihre SillyTavern-Figur schreibt endlich so, wie Sie möchten. Sie bitten um ein Bild, ComfyUI beginnt zu laden, und entweder scheitert das Bild oder die nächste Chatantwort wird quälend langsam. Eine Grafikkarte mit 8 GB oder 16 GB kann für jede Aufgabe einzeln gut ausreichen und trotzdem Probleme bekommen, wenn beide gleichzeitig aktiv sind.

Für SillyTavern-NSFW-Bildgenerierung mit wenig VRAM ist die wichtigste erste Entscheidung, welche Aufgabe die GPU behalten darf. Ist ununterbrochenes lokales Rollenspiel entscheidend, lassen Sie Bilder remote generieren. Sind Ihr lokaler Figuren-Checkpoint und Ihre LoRAs entscheidend, verlagern Sie das Gespräch auf eine Chat-API. Muss alles lokal bleiben, erstellen Sie zuerst den visuellen Prompt, entladen Sie das Textbackend, rendern Sie das Bild und laden Sie das Textbackend wieder. Der dritte Weg erhält das gespeicherte Gespräch, kann aber keine ununterbrochene Generierung versprechen, während die GPU zwischen Aufgaben wechselt.

Das sind praktische Einrichtungsoptionen, kein Benchmark, der behauptet, ein bestimmtes Modellpaar passe auf jede 8-GB-Karte. Wir haben für diesen Leitfaden keinen kombinierten lokalen Lauf gemessen. Die Verbindungsanweisungen stammen aus Dokumentation und Quellcode der Projekte; die vorgeschlagene Arbeitsreihenfolge soll häufige Fehler eingrenzen, ohne fünf Einstellungen gleichzeitig zu ändern.

Das Problem wurde in einer SillyTavern-Diskussion vom 2. Oktober deutlich: Ein Nutzer mit einer AMD-Karte mit 16 GB verwendete den Speicher bereits für lokales Rollenspiel und wollte Z-Image ergänzen. Die nützliche Frage lautet nicht, ob Z-Image auf einer Consumer-GPU läuft. Sie lautet, ob es läuft, während Ihr bestehendes Chatmodell dieselbe GPU weiterhin belegt.

Entscheiden Sie über die GPU, bevor Sie ein weiteres Modell herunterladen

Beginnen Sie mit dem Teil Ihres Abends, den Sie am wenigsten unterbrechen möchten. Ein langes Gespräch mit einem bevorzugten lokalen Modell, ein sorgfältig abgestimmter Bildworkflow und die Vorgabe, dass nichts den Computer verlässt, führen zu unterschiedlichen Setups.

Mit 8 GB sollten Sie meist zunächst nur eine Generierungsaufgabe lokal ausführen. Mit 16 GB haben Sie mehr Spielraum, doch dieselbe Entscheidung gilt, wenn das aktuelle LLM bereits den Großteil der Karte nutzt. Ein weiterer quantisierter Checkpoint, bevor feststeht, welche Aufgabe den verbleibenden Speicher erhält, bedeutet häufig nur einen weiteren Download mit demselben Fehler.

Verwechseln Sie eine Chat-API nicht mit einem Bildbackend. Ihr Modell kann eine hervorragende Beschreibung einer fiktiven erwachsenen Figur schreiben, ohne deren Bildpixel erzeugen zu können. Ein Modell mit Bildeingaben analysiert diese möglicherweise nur. Die in API Connections gewählte Verbindung führt das Gespräch; die unter Image Generation gewählte Quelle zeichnet das Bild. Behandeln Sie diese im gesamten Leitfaden als getrennte Einstellungen.

Verlagern Sie eine Aufgabe nach außen oder lassen Sie lokalen Chat und Bilder die GPU abwechselnd nutzen.

Warum ein untätiges Chatfenster trotzdem den meisten VRAM belegen kann

Verwirrend ist, dass der Chat inaktiv wirken kann. Sie generieren keine Antwort, die GPU-Auslastung fällt und der Rechner klingt ruhig. Trotzdem kann ComfyUI das Bildmodell nicht laden. Auslastung misst die gerade ausgeführte Arbeit; Speicherbelegung misst Ressourcen, die für die nächste Aufgabe vorgehalten werden. Ein Backend kann fast nichts tun und dennoch viel Speicher reserviert halten.

Die Downloadgröße des Modells erklärt das nur teilweise. Das LLM benötigt außerdem Platz für seinen Gesprächscache und temporäre Berechnungen. Ein größerer Kontextwert kann diesen Bedarf erhöhen, selbst wenn Sie die Modellgewichte nicht geändert haben. Bildgenerierung benötigt eigene Modellkomponenten und temporären Arbeitsbereich. Die Spitze kann auftreten, nachdem das Laden scheinbar erfolgreich war, nicht bereits beim ersten Download oder Verbindungsschritt.

Eine Erklärung eines llama.cpp-Maintainers zur Speicherzuweisung dokumentiert diesen Unterschied: Gewichte, Kontextcache und Rechenpuffer sind separate Zuweisungen. Deshalb ist es keine gute Methode, die GGUF-Dateigröße von der Zahl auf der GPU-Verpackung abzuziehen, um den verfügbaren Platz für ComfyUI zu bestimmen.

Nehmen wir als veranschaulichendes Budget an, dass auf einer 16-GB-Karte 1 GB für Desktop und andere Anwendungen belegt sind, während das Textbackend 11 GB nutzt. Dann bleiben etwa 4 GB, bevor die Bildaufgabe beginnt. Das sind erfundene Zahlen zur Erklärung der Rechnung, keine Messung von Z-Image und keine empfohlene Aufteilung. Die veröffentlichte Aussage, ein Modell laufe auf einem 16-GB-Gerät, bedeutet nicht, dass es in die verbleibenden 4 GB passt.

Das offizielle Z-Image-Repository beschreibt Turbo auf Consumer-Geräten mit 16 GB und bietet CPU-Offloading für speicherarme Setups. Diese Aussage betrifft die Bereitstellung des Bildmodells. Sie reserviert keinen Platz für ein separates Rollenspiel-LLM, einen langen Gesprächscache, mehrere Adapter und einen weiteren gleichzeitig inferierenden Prozess.

Betrachten Sie vor Änderungen den Speicher statt der GPU-Prozentzahl. Öffnen Sie unter Windows den Task-Manager, wählen Sie Leistung und die tatsächlich verwendete diskrete GPU. Unterscheiden Sie dedizierten GPU-Speicher von gemeinsam genutztem Speicher. Verwenden Sie auf anderen Systemen die Überwachungstools des GPU-Herstellers oder die Zuweisungsprotokolle des Backends. Entscheidend ist, welcher Prozess geladen bleibt, nicht ob das Diagramm die GPU gerade als untätig zeigt.

Finden Sie die Fehlerstelle mit vier kurzen Prüfungen

Tun Sie das, bevor Sie eine andere Quantisierung ausprobieren, SillyTavern neu installieren oder einen eigenen Node zum Entladen hinzufügen. Ein Verbindungsproblem und ein VRAM-Problem können vom Chatfenster aus identisch wirken, weil bei beiden kein Bild erscheint.

Testen Sie zuerst das Gespräch allein. Schließen Sie das Bildbackend vollständig, starten Sie Ihr gewohntes Textbackend und erzeugen Sie eine normale Rollenspielantwort. Notieren Sie, ob sie bereits langsam ist. Falls ja, haben Sie noch kein Problem mit geteilter Bildnutzung: Das lokale LLM ist selbst zu anspruchsvoll, nutzt ein ungeeignetes Ausführungsbackend oder verarbeitet einen großen Prompt.

Testen Sie anschließend den Bildworkflow allein. Stoppen Sie das Textbackend, starten Sie ComfyUI und rendern Sie ein Bild direkt in dessen Oberfläche. Verwenden Sie ein einzelnes Bild und die vorgesehenen Einstellungen des Workflows. Scheitert das ohne lokales LLM, hilft ein kleinerer Chatkontext nicht. Reparieren Sie zuerst Bildinstallation, fehlende Dateien, nicht unterstützte Nodes oder den Speicherbedarf der Bildaufgabe.

Verbinden Sie dann SillyTavern mit diesem funktionierenden Bildbackend. Lassen Sie das LLM gestoppt, deaktivieren Sie Extend free-mode prompts in Image Generation und verwenden Sie einen manuellen Befehl wie /sd a fictional adult lounge singer age 29 in a black satin evening outfit, seated beside an amber lamp. Das umgeht den zusätzlichen Schritt, bei dem das Textmodell den Prompt schreibt. Funktioniert ComfyUI direkt, aber SillyTavern sendet nie eine Anfrage, prüfen Sie Bildquelle, Serveradresse und Workflow im API-Format. Reduzieren Sie nicht die Auflösung, um eine URL zu reparieren, die auf den falschen Dienst zeigt.

Wiederholen Sie den Versuch mit geladenem LLM. Nun ist die einzige wesentliche Änderung die zusätzliche Textaufgabe. Funktioniert das Bild zuvor und scheitert jetzt, gibt es einen guten Grund für eine Speichertrennung. Funktioniert es weiterhin, aber der Chat wird danach stark langsamer, prüfen Sie, ob ComfyUI Modelle vorhält oder das Textbackend auf eine langsamere Ausführung zurückgefallen ist.

Sobald diese Prüfungen funktionieren, lohnt sich ein fünfter Vergleich. Vergleichen Sie einen selbst geschriebenen Bildprompt mit /sd last. Letzteres ergänzt einen Textmodellschritt, der das jüngste Gespräch beschreibt. Erreicht die manuelle Anfrage ComfyUI, die kontextbezogene aber nicht, kann der Fehler beim Promptschreiben statt beim Rendern liegen. Eine Ablehnung, leere Antwort oder fehlerhafte Beschreibung des LLM lässt sich nicht durch freien Speicher im Bildbackend beheben.

Notieren Sie die genaue Phase, die ComfyUI beim Fehler anzeigt: Modellladen, Textkodierung, Sampling, Bilddekodierung oder ein späterer Detaildurchlauf. Daraus ergibt sich, was Sie entfernen sollten. Ein Fehler beim abschließenden Upscaling lässt sich durch dessen Verschiebung beheben; ein Fehler beim Laden des Hauptmodells braucht einen anderen Speicherplan.

Weg eins: lokales Rollenspiel behalten, Bilder anderswo erzeugen

Diesen Weg würde ich zuerst wählen, wenn Sie Ihr lokales Figurenmodell bereits mögen und während einer Sitzung nur wenige Bilder machen. Lassen Sie das Textsetup bestehen. Verlagern Sie die Bildgenerierung aus seinem Weg, statt das Gespräch so weit zu verkleinern, dass es nicht mehr das gewünschte Gespräch ist.

Eine von SillyTavern bereits unterstützte Quelle

Öffnen Sie Extensions und klappen Sie Image Generation auf. Wählen Sie unter Source einen Dienst, der tatsächlich in der aktuellen Liste unterstützter Quellen steht. Konfigurieren Sie dessen eigene Zugangsdaten und Modell, statt die Adresse Ihres Textmodells in das Bildpanel einzufügen. Die offizielle Dokumentation zu Image Generation ist die Referenz für Quellenliste und integrationsspezifische Einstellungen.

Erzeugen Sie dann ein einfaches, nicht explizites Figurenporträt, bevor Sie automatische Auslöser aktivieren. Das zeigt, ob Dienst, Zugangsdaten, gewähltes Modell und Ergebnisverarbeitung zusammenpassen. Eine gelistete Integration verspricht nicht, dass jedes dahinterliegende Modell die gewünschte Szene für Erwachsene akzeptiert.

Ersetzen Sie eine dienstspezifische Bild-URL nicht durch die allgemeine API-URL eines anderen Unternehmens in der Erwartung, die Integration übersetze sie. Auch wenn beide Dienste einen Prompt akzeptieren, können Anfragekörper, Auftragsstatus, Bildrückgabeformat, Authentifizierung und Fehlerantworten unterschiedlich sein. Ein Feld namens API URL bedeutet nicht, dass jede API austauschbar ist.

Lassen Sie ComfyUI auf einem anderen Computer laufen

Wenn Sie Ihren bestehenden Checkpoint und Ihre LoRAs benötigen, behalten Sie den Workflow und verlagern seine Ausführung. Sorgen Sie zuerst dafür, dass er auf dem anderen Rechner erfolgreich rendert. Dort braucht er eigene kompatible Software, Modelldateien und installierte Nodes. Ein Workflow-JSON verweist auf Komponenten; es packt sie nicht alle in die Datei.

Wählen Sie im Image-Generation-Panel von SillyTavern ComfyUI und dann Standard Server. Tragen Sie die Adresse ein, die vom Rechner des SillyTavern-Servers erreichbar ist, und nutzen Sie Connect. Dass Ihr Telefon die entfernte ComfyUI-Seite öffnen kann, beweist nicht, dass der SillyTavern-Host sie erreicht.

Laufen beide Dienste auf verschiedenen Rechnern, bezieht sich 127.0.0.1 auf den Rechner, der die Anfrage stellt. Damit finden Sie ComfyUI auf dem anderen Computer nicht. Verwenden Sie die tatsächlich erreichbare Adresse dieser Installation. Bei einem Online-Host verwenden Sie eine angemessen geschützte Verbindung; eine uneingeschränkte ComfyUI-Instanz öffentlich freizugeben ist für ein Heimsetup unnötig.

Fügen Sie nach dem ersten erfolgreichen Rendern den gespeicherten Workflow im API-Format hinzu. Behalten Sie Checkpoint und Adapter bei, wenn Sie passende Ergebnisse wünschen. Nutzt die entfernte GPU eine andere quantisierte Modellvariante, aktualisieren Sie deren Loader-Node, statt aus einem ähnlichen Dateinamen identisches Verhalten abzuleiten. Das lokale LLM kann durchgehend geladen bleiben, weil das Bildmodell den Speicher eines anderen Rechners nutzt.

Dieser Weg ist attraktiv, wenn Sie ComfyUI bereits kennen. Er ist weniger attraktiv, wenn Sie heute Abend nur zwei Bilder möchten und zuerst Serveradministration lernen müssten. Ein Browsergenerator kann dann die praktischere Wahl sein, auch wenn er weniger integriert ist.

Verwenden Sie SpicyAPI neben dem Chat

Die Bildaufgaben von SpicyAPI erscheinen in der geprüften Image-Generation-Implementierung von SillyTavern nicht als native Quelle. Sein asynchroner Generierungsvertrag lässt sich weder in das ComfyUI-URL-Feld einfügen noch als AUTOMATIC1111-Bildendpunkt behandeln. Dieser Leitfaden stellt keinen Adapter bereit und behauptet nicht, einen solchen getestet zu haben, der die Protokolle austauschbar macht.

Sie können das lokale Rollenspiel trotzdem geöffnet lassen und die Modellseite von Z-Image Spicy in einem zweiten Browsertab verwenden. Öffnen Sie Playground, fügen Sie die visuelle Beschreibung der aktuellen Szene ein, legen Sie die Abmessungen fest, generieren Sie und laden Sie das Bild herunter. Ihre lokale GPU bleibt für das LLM verfügbar, weil die Bildinferenz remote stattfindet.

Wählen Sie für ein erstes Porträt 832 mal 1216 Pixel, lassen Sie die Prompterweiterung deaktiviert und beschreiben Sie eine einzelne fiktive erwachsene Person in einem konkreten Outfit und Raum. Beide Seiten liegen im öffentlichen Bereich von Z-Image Spicy mit 256 bis 1536 Pixeln pro Seite. Diese Einstellung ist ein vorgeschlagener Ausgangsbildaufbau, keine Behauptung, dass wir die Szene gerendert oder ihre Qualität mit Ihrem lokalen Checkpoint verglichen haben.

Ein entfernter Bilddienst erhält den visuellen Prompt und alle hochgeladenen Bilder. Für ein Bild müssen Sie nicht den gesamten Rollenspielverlauf senden. Kopieren Sie nur sichtbare Figurenmerkmale und die aktuelle Szene; entfernen Sie private Notizen, reale Namen und Details, die für ein Standbild unnötig sind.

Weg zwei: lokalen Bildworkflow behalten, Chat auf eine API verlagern

Wählen Sie diesen Weg, wenn das Bildmodell der sorgfältig abgestimmte Teil Ihres Setups ist. Vielleicht haben Sie einen bestimmten Illustrations-Checkpoint, eine Figuren-LoRA, eine Posensteuerung oder einen Szenenworkflow, den ein Browserdienst nicht reproduzieren kann. Den Chat zu verlagern ist häufig einfacher, als diese ganze Bildarbeit anderswo nachzubauen.

Stoppen Sie zuerst das lokale Textbackend, statt nur die API-Auswahl zu ändern. Läuft llama.cpp, Ollama oder ein anderer Server im Hintergrund weiter, kann er den Speicher behalten, den Sie freimachen wollten. Speichern Sie das bestehende Verbindungsprofil für eine spätere Rückkehr und verbinden Sie anschließend die gewählte gehostete Chatquelle.

SillyTavern unterstützt gehostete Chatverbindungen getrennt von Bildquellen. Folgen Sie der Dokumentation zu API Connections für das gewählte Protokoll. Eine Chatquelle kann lokal oder gehostet sein, unabhängig davon, ob ihre Kategorie Chat Completion oder Text Completion heißt; diese Namen beschreiben die Übermittlung des Prompts, nicht den Standort der GPU.

Für SpicyAPI-Chat liefert unser SillyTavern-Leitfaden zur Rollenspielverbindung die Einstellungen für Custom OpenAI-compatible und die modellspezifische Behandlung nicht unterstützter Parameter. Verwenden Sie dieses tatsächliche Setup, statt eine Modell-ID für Bildaufgaben in das Chatmodellfeld einzutragen. Hier geht es vor allem darum, Ihre GPU für Bilder freizumachen; daher müssen nicht alle Chatmodelleinstellungen wiederholt werden.

Kehren Sie zu ComfyUI zurück und führen Sie genau den Workflow aus, der allein funktioniert hat. Fügen Sie nicht sofort weitere Bildphasen hinzu, nur weil die GPU frei aussieht. Halten Sie die erste integrierte Anfrage identisch mit der isolierten Anfrage; dieser Vergleich zeigt, ob der veränderte Chatweg die Störung beseitigt hat.

Ein gehostetes LLM kann weiterhin nützliche Arbeit für die Bildpipeline leisten. Es kann die aktuelle Szene in einen Bildprompt umwandeln, bevor SillyTavern den lokalen ComfyUI-Workflow absendet. Das ist eine Textanfrage und nutzt daher den Chatdienst, statt ein weiteres großes lokales Modell auf die Karte zu laden.

Der Preis dafür sind Gesprächsprivatsphäre und tokenbasierte Abrechnung. Die Chat-API erhält den von SillyTavern einbezogenen Kontext, möglicherweise einschließlich Figurenbeschreibung, Anweisungen, ausgewähltem Lore und Gesprächsnachrichten. War ausschließlich lokaler Chat für Sie unverzichtbar, ist dieser Weg keine kleine technische Anpassung; er verändert, wo der Text verarbeitet wird.

Beobachten Sie die erste Chatantwort nach jedem Bild. Reagiert sie jetzt zügig und ComfyUI beendet sauber, haben Sie den wesentlichen Wettbewerb um GPU-Speicher gelöst. Bleibt das Bild genauso langsam wie im Alleinbetrieb, liegt der Engpass innerhalb der Bildaufgabe, nicht im nun gehosteten Gespräch.

Chat- und Bildquellen sind getrennte Verbindungen. Ein Browsergenerator neben dem Chat ist ein manueller Weg, keine native ComfyUI-Integration.

Weg drei: alles lokal halten und abwechseln

Wenn weder Gesprächstext noch Bildprompts Ihren Rechner verlassen sollen, nutzen Sie die GPU nacheinander. Behandeln Sie die Bilderstellung als kurze Gesprächspause. Sie löschen weder die Figur noch beginnen Sie einen neuen Chat; Sie ändern vorübergehend nur, welches Backend den GPU-Speicher belegt.

Ein gespeichertes Gespräch und ein geladener Gesprächscache sind unterschiedliche Dinge. SillyTavern behält seine Chatdaten, während der Cache im Speicher des Backends hilft, die nächste Anfrage schnell zu verarbeiten. Stoppen oder Entladen des Backends kann diesen Cache verwerfen. Kehrt das Textmodell zurück, muss die nächste Anfrage den Kontext möglicherweise erneut verarbeiten. Die Geschichte bleibt verfügbar, aber die erste fortgesetzte Antwort kann länger dauern.

Die Arbeitsreihenfolge

1. Beenden Sie die aktuelle Antwort und stoppen Sie automatische Neugenerierung oder Bildauslöser, die eine weitere Anfrage absenden könnten.
2. Erstellen und speichern Sie den visuellen Prompt, während das Textmodell noch geladen ist, oder schreiben Sie ihn selbst.
3. Speichern Sie das aktuelle Gespräch und halten Sie die gewünschte Bildbeschreibung zum Einfügen bereit.
4. Entladen oder stoppen Sie das Textbackend und prüfen Sie, ob die dedizierte GPU-Speicherbelegung tatsächlich gefallen ist.
5. Generieren Sie in ComfyUI ein Bild mit der gespeicherten Beschreibung.
6. Laden Sie das fertige Bild herunter oder bewahren Sie es auf; entladen Sie dann die ComfyUI-Modelle oder stoppen Sie dessen Backend.
7. Prüfen Sie, ob wieder Speicher verfügbar ist, starten Sie das Textbackend mit seinen gespeicherten Einstellungen und verbinden Sie es bei Bedarf neu.
8. Setzen Sie dasselbe Gespräch fort; rechnen Sie damit, dass die erste Antwort den Kontext neu aufbaut, falls der vorherige Cache verloren ging.

Der Schritt zum Promptschreiben gehört vor das Entladen. Stoppen Sie das LLM und bitten anschließend /sd last, die Szene über dasselbe Backend zu beschreiben, haben Sie den Dienst entfernt, den die erste Hälfte der Bildanfrage braucht. Verwenden Sie die bereits gespeicherte Beschreibung in einer manuellen /sd-Anfrage, während Extend free-mode prompts in der Bildphase deaktiviert ist.

Beginnen Sie manuell. Sichtbares Stoppen und Neustarten ist weniger elegant als eine Entladeerweiterung, zeigt aber, ob der grundlegende Speicherplan funktioniert. Scheitert das Bild auch nach dem Ende des Textprozesses, reproduziert ein automatisches Umschalttool den Fehler lediglich schneller, statt ihn zu beheben.

Für Ollama: Entladen Sie das Modell, nicht nur das Fenster

Ollama dokumentiert einen ausdrücklichen Stop-Befehl und die Einstellung keep_alive. Der unmittelbare manuelle Schritt ist ollama stop YOUR_MODEL_NAME mit dem genauen Namen aus Ihrer Installation. Die offiziellen FAQ beschreiben zudem, wie keep_alive bei unterstützten API-Anfragen auf null gesetzt wird, damit ein Modell nach Verwendung entlädt.

Beenden Sie in diesem Setup zuerst die Bildbeschreibung, stoppen Sie das Modell und starten Sie dann die Bildphase. Mit der nächsten Chatanfrage lädt Ollama das Modell möglicherweise erneut. Deaktivieren Sie automatische Promptgenerierung im Hintergrund, während ComfyUI die Karte nutzt; sonst können diese Anfragen das LLM zum falschen Zeitpunkt wieder in den Speicher holen.

Gehen Sie nicht davon aus, dass jeder Chatclient über jeden API-Typ sämtliche Ollama-spezifischen Parameter einstellen kann. Verwenden Sie eine ausdrücklich unterstützte Einstellung oder den dokumentierten Stop-Befehl. Ein Kontextregler oder ein allgemeines Feld für benutzerdefinierte Anfragedaten implementiert nicht automatisch die nativen Lebenszyklussteuerungen von Ollama.

Für llama.cpp: Nutzen Sie den eigenen Lebenszyklus des Backends

Wenn Sie einen llama-server-Prozess mit einem einzigen Modell starten, ist dessen Stoppen der klarste manuelle Weg, seine Zuweisungen vor dem Laden des Bildworkflows freizugeben. Starten Sie ihn anschließend mit denselben gespeicherten Starteinstellungen neu. Verlassen Sie sich nicht darauf, dass das Schließen des Browsers, ein untätiger Chat oder die Änderung des ausgewählten Modellnamens in SillyTavern einen separaten Prozess stoppt.

Neuere llama.cpp-Serverversionen bieten auch Modellverwaltungsfunktionen, doch die verfügbaren Operationen hängen vom Serverstart und der installierten Version ab. Ein Start mit einem Modell und ein Router mit mehreren Modellen sind verschiedene Konfigurationen. Nutzen Sie die dokumentierten Steuerungen Ihres tatsächlichen Servers; kopieren Sie keine Entladeanfrage für ein anderes Backend.

Für ComfyUI: Dessen Modelle freizugeben gibt das LLM nicht frei

ComfyUI bietet in seiner offiziellen Serverimplementierung eine /free-Operation mit den Steuerungen unload_models und free_memory. Sie setzt Flags, die das Ausführungssystem verarbeitet. Sie ist keine Anweisung, einen separat laufenden llama.cpp-Prozess zu beenden; eine akzeptierte Anfrage beweist auch nicht, dass jedes angeforderte Byte bereits freigegeben wurde.

Verwenden Sie nach dem Rendern die Steuerung zum Modellentsperren beziehungsweise Entladen, die Ihre ComfyUI-Oberfläche oder Installation anbietet. Finden Sie keine passende Steuerung, ist das Stoppen des ComfyUI-Backends eine unkomplizierte manuelle Ausgangsmethode. Nur seinen Browsertab zu schließen beendet den Serverprozess nicht.

Ein eigener Entlade-Node kann nützlich sein, aber nur bei korrekter Ausführungsreihenfolge. Läuft er vor einem späteren Detaildurchlauf, der das Modell noch benötigt, kann dieses erneut geladen werden. Entlädt er nur die eigenen Modelle von ComfyUI, bleibt das Rollenspielbackend unberührt. Lesen Sie die Dokumentation des Nodes, bevor Sie annehmen, dass er beide Anwendungen koordiniert.

Bringen Sie die ComfyUI-Verbindung zum Laufen, bevor Sie den Speicher abstimmen

Die ComfyUI-Unterstützung von SillyTavern ist eine echte Workflowintegration, keine universelle Brücke zu Bild-APIs. Sie sendet einen Graph im API-Format an einen ComfyUI-Server und ruft dessen Ergebnis ab. Ein Workflow, der auf Ihrem Desktop richtig aussieht, kann über SillyTavern dennoch scheitern, wenn Sie das falsche Format exportiert oder den Prompt fest eingetragen haben.

Beginnen Sie direkt in ComfyUI. Rendern Sie ein Bild mit genau dem Checkpoint, Textencoder, der VAE und den installierten Nodes, die Sie verwenden möchten. Speichern Sie den normalen Workflow, damit Sie ihn später wieder visuell öffnen können. Exportieren Sie dann seine API-Version über die Option Ihrer ComfyUI-Oberfläche; Menünamen können je nach Version variieren.

Wählen Sie in SillyTavern unter Image Generation ComfyUI, bei einer normalen lokalen Installation Standard Server und die von Ihrem ComfyUI-Server angezeigte Adresse. Der dokumentierte Standard ist http://127.0.0.1:8188. Diese lokale Adresse gehört in die Anwendungseinstellung; sie ist keine öffentliche Website und keine Adresse, die Sie für andere veröffentlichen sollten.

Wählen Sie Connect, erstellen oder wählen Sie den gewünschten Workflow und fügen Sie den Graph im API-Format in dessen Editor ein. Die Integration bietet Ersetzungen wie %prompt% für den positiven Prompt. Verwenden Sie sie nur dort, wo der Graph tatsächlich den entsprechenden Wert annimmt. Ein Workflow ohne Ersetzungen kann gültiges ComfyUI-JSON sein und dennoch jedes Mal seinen ursprünglichen Demonstrationsprompt zeichnen.

Suchen Sie in einem Graph mit CLIP Text Encode das tatsächliche Textfeld für die positive Konditionierung und ersetzen Sie die Testbeschreibung durch die Promptersetzung. Erhält ein eigener Loader oder anderer Node den Text, gehört die Ersetzung dorthin. Ergänzen Sie keinen unverbundenen Text-Node, nur damit der Workfloweditor ein grünes Häkchen zeigt.

Senden Sie anschließend zwei bewusst unterschiedliche Bildanfragen: zuerst die erwachsene Lounge-Sängerin, dann einen leeren Raum bei Kerzenlicht. Zeigen beide dasselbe Motiv, prüfen Sie den exportierten Graph, bevor Sie Seeds ändern oder ein neues Modell installieren. Ein fest eingetragener Prompt ist der wahrscheinliche Ausgangspunkt. Ändert sich nur Farbe oder Stimmung, prüfen Sie, ob ein weiteres Präfix oder Textfeld noch die ursprüngliche Figurenbeschreibung enthält.

Welche Speichereinstellungen sich lohnen und welche in die Irre führen

Übernehmen Sie nicht sämtliche Optimierungsflags aus einem Forenkommentar gleichzeitig. Sie müssen wissen, ob Sie die Textaufgabe verkleinern, die Bildaufgabe verkleinern oder verändern, wie ungenutzter Speicher vorgehalten wird. Das sind unterschiedliche Eingriffe mit unterschiedlichen Folgen für die nächste Antwort.

Verkürzen Sie den Kontext des Textbackends, bevor Sie die Figurenqualität einschränken

Eine Kontexteinstellung von 32K oder mehr kann mehr Platz reservieren, als der aktuelle Abend benötigt. Probieren Sie ein gespeichertes Profil mit kleinerem Backendkontext, etwa 4096 oder 8192 Tokens, sofern Figurenkarte, Anweisungen, relevantes Lore und jüngstes Gespräch hineinpassen. Das sind Beispielgrößen für Profile, kein Versprechen, dass ein bestimmtes Modell in den Speicher passt.

Stellen Sie auch den Anfragekontext von SillyTavern passend zum Backend ein. Nur die clientseitig gesendete Verlaufslänge zu senken verkleinert möglicherweise nicht einen beim Serverstart zugewiesenen Cache. Umgekehrt erhöht ein größerer Clientregler nicht automatisch die tatsächliche Serverkapazität. Betrifft eine Einstellung die Speicherzuweisung des Backends, ändern Sie sie dort und starten oder laden Sie neu, wie diese Implementierung es erfordert.

Die Serverreferenz von llama.cpp dokumentiert Kontextgröße, GPU-Layer, Cachetypen und KV-Offloading. Verwenden Sie die Bezeichnungen aus der Hilfe Ihrer installierten Version. Insbesondere verspricht die automatische Anpassung eines Textmodells an das Gerät nicht, genug Platz für die spätere Bildspitze einer anderen Anwendung zu lassen.

Weniger GPU-Layer verlagern Teile der Textinferenz von der GPU weg. Das kann Platz freigeben, kostet aber Verarbeitungsgeschwindigkeit. Den Gesprächscache zu quantisieren ist eine andere Einstellung als eine quantisierte Modelldatei zu wählen. Gehen Sie nicht davon aus, dass Q4-Gewichte auch bedeuten, dass der Cache mit vier Bit gespeichert wird.

Reduzieren Sie Bildspitzen mit einem einfacheren Renderdurchlauf

Verwenden Sie Batchgröße eins. Mehrere Bilder nacheinander zu erzeugen ist etwas anderes, als einen Workflow einen Batch gleichzeitig verarbeiten zu lassen. Behalten Sie das übliche Seitenverhältnis des vorgesehenen Modells und eine vernünftige Ausgangsgröße bei; verzichten Sie auf einen zweiten hochauflösenden Samplingdurchlauf, bis das Grundbild funktioniert.

Scheitert ein Graph bei der VAE-Dekodierung, kann ein unterstützter gekachelter Decoder einen Versuch wert sein. Scheitert das Laden des Hauptmodells, verkleinert gekachelte Dekodierung dessen Gewichte nicht. Scheitert nur eine Gesichtsdetail- oder Upscalingphase, entfernen Sie diese aus dem laufenden Workflow und erledigen sie später bei gestopptem Chatbackend.

Prüfen Sie, was Low VRAM in Ihrem tatsächlichen Programm bedeutet

Die aktuellen Argumentdefinitionen von ComfyUI unterscheiden dynamische Speicherverwaltung von älteren Flags. --lowvram bewirkt nichts, wenn DynamicVRAM aktiv ist; andernfalls verlagert das Flag Textencoder auf die CPU. Seine Bedeutung ist enger als „jedes Bildmodell in beliebig wenig verbleibenden Speicher einpassen“.

ComfyUI bietet außerdem Optionen zum Reservieren von Speicher und aggressiveren Offloading. Reservierter Platz kann anderen Programmen helfen, ist aber kein gemeinsamer Scheduler für ComfyUI und Ihr Chatbackend. Passen die kombinierten Mindestaufgaben nicht hinein, kann eine Reserve keinen zusätzlichen Speicher herstellen. Testen Sie eine einzelne Änderung und wiederholen Sie dann dieselbe Anfrage für ein Bild.

KoboldCpp nutzt andere Steuerungen. Sein SillyTavern-Schnellstart warnt ausdrücklich davor, das abgebildete Kontrollkästchen Low VRAM zu aktivieren. Die Seite beschreibt einen älteren Launcher; prüfen Sie deshalb auch die Hilfe Ihrer installierten Version. Die praktische Lehre ist, eine Einstellung nicht allein wegen desselben Namens in einer anderen Anwendung zu übernehmen.

Eine AMD-Karte ändert die Einrichtungsdetails, nicht die Speicherrechnung

Die jüngste Community-Frage betraf AMD und das Vulkan-Backend von llama.cpp. Das ist ein Grund, unterstützte Ausführungswege zu prüfen, statt einen CUDA-Startbefehl aus einem NVIDIA-Tutorial einzufügen. Verfügbare Beschleunigung, Zahlenformate und Operatorunterstützung hängen von GPU, Betriebssystem, Build und tatsächlich installiertem Backend ab.

Prüfen Sie zuerst, ob jede Anwendung allein auf der Karte funktioniert. Ein erfolgreicher Vulkan-Textlauf beweist nicht, dass Ihre ComfyUI-Installation ein geeignetes beschleunigtes Bildbackend nutzt. Ebenso beweist ein funktionierendes Bildmodell nicht, dass Ihr lokales LLM mit dem vorgesehenen Backend gebaut wurde. Prüfen Sie Startmeldungen und das bei den isolierten Tests tatsächlich verwendete Gerät.

Sind Textgenerierung und Bilder jeweils allein schnell, scheitert aber der gemeinsame Lauf, löst eine andere Diskussion über die GPU-Marke den grundlegenden Platzmangel vermutlich nicht. Verlagern Sie eine Aufgabe remote oder lassen Sie beide abwechseln. Ist eine Anwendung schon allein langsam, lösen Sie deren Problem, bevor Sie gleichzeitige Ausführung untersuchen.

Seien Sie vorsichtig bei einem quantisierten Bildmodell, das ohne vollständige Setupbeschreibung als „für 8 GB geeignet“ gilt. Diese Beschreibung kann den Textencoder ausnehmen, Offloading voraussetzen, einen bestimmten eigenen Node nutzen oder eine ansonsten freie GPU annehmen. Lesen Sie vor dem Download die genauen Loaderanforderungen des Modells und prüfen Sie, ob Ihr installiertes Bildbackend die Quantisierung unterstützt.

Lassen Sie das Bild zur erwachsenen Szene passen, ohne die ganze Geschichte zu senden

Sobald das Setup funktioniert, ist Speicher nicht mehr der einzige Grund für ein enttäuschendes Bild. Ihr Rollenspielmodell beschreibt möglicherweise, was die Figur fühlt, statt dessen, was eine Kamera sieht. So entsteht ein plausibles Porträt, das Raum, Outfit oder aktuelle Handlung ignoriert.

Trennen Sie bei einer fiktiven erwachsenen Figur namens Mara dauerhaftes Aussehen von der aktuellen Szene. Dauerhafte Angaben könnten Alter 29, ein kurzer dunkler Bob, ein silberner Ohrschmuck und ein kleines Halbmondtattoo auf der Schulter sein. Aktuelle Angaben könnten ein schwarzes Satinoutfit, ein Samtsessel, warmes gedämpftes Licht und ein selbstbewusster Seitenblick sein. Nur die zweite Gruppe sollte sich ändern, weil die Geschichte in einen anderen Raum gewechselt ist.

Hier ist eine vorgeschlagene Bildbeschreibung zum Anpassen; sie wurde für diesen Artikel nicht als Modelltest verwendet:

Eine fiktive erwachsene Lounge-Sängerin, 29 Jahre alt, mit kurzem dunklem Bob und silbernem Ohrschmuck, trägt ein körpernahes schwarzes Abendoutfit aus Satin und sitzt seitlich in einem tief bordeauxroten Samtsessel. Ihr Ausdruck ist selbstbewusst und verspielt. Warmes bernsteinfarbenes Licht fällt von einer Tischlampe auf sie; dahinter liegt eine weich unscharfe Lounge zu später Stunde. Halbnahes Porträt, Hände entspannt und sichtbar, intime Editorial-Stimmung, keine Schrift.

Wechselt die Figur von der Lounge auf einen Balkon, ändern Sie Umgebung und Beleuchtung, statt jedes Identitätsdetail neu zu schreiben. Hat sich das Outfit im Gespräch verändert, nennen Sie das neue klar und entfernen Sie das alte. Widersprüchliche Kleidungsbeschreibungen können die falsche Szene erzeugen, selbst wenn das Bildmodell dem Text bestmöglich folgt.

Figurenspezifische Präfixe können die beschreibende Kontinuität unterstützen, garantieren aber nicht dasselbe Gesicht. Eine visuelle Identität, die passende Referenzbilder oder eine eigene LoRA benötigt, braucht einen Workflow, der diese Methode tatsächlich unterstützt. Der Text einer Figurenkarte und ihr Avatar werden nicht automatisch zu Referenzeingaben jeder Bildquelle.

Speichern Sie die Bildbeschreibung vor dem Entladen des Textmodells und setzen Sie danach den gespeicherten Chat fort.

Was gelegentliche Remote-Bilder tatsächlich kosten

Ein Bildweg im Browser lohnt einen Blick, bevor Sie Hardware kaufen, nur um gelegentliche Modellwechsel zu vermeiden. Im aktuellen öffentlichen SpicyAPI-Katalog kostet Z-Image Spicy $0.01235 pro Bild bei deaktivierter Prompterweiterung und $0.0133 bei aktivierter Erweiterung. Z-Image Spicy Pro kostet $0.019 pro Bild. Das sind Bildgebühren, keine Abopreise oder Kosten für gehosteten Chat.

Die Rechnung multipliziert einfach den angezeigten Preis pro Bild. Sie schätzt nicht, wie viele Versuche ein Bild liefern, das Sie behalten. Erzeugen Sie vier Alternativen und behalten eine, planen Sie die vier angeforderten Generierungen ein. Chataufrufe zum Promptschreiben, weitere Bearbeitung und Upscaling sind separate Arbeit, wenn Sie sie ergänzen.

Für zehn Bilder an einem Abend ist die aufgeführte Bildkomponente daher klein genug, um sie mit dem Aufwand des Stoppens und Neuladens Ihres lokalen Modells zu vergleichen. Das entscheidet die Frage nicht, wenn Sie Offline-Nutzung, genaue lokale LoRAs oder auf dem Rechner verbleibende Prompts benötigen. Diese Anforderungen können einen niedrigen Bildpreis überwiegen.

Wählen Sie die Spicy-Pro-Seite, wenn Sie deren öffentlichen Abmessungsbereich bis 2560 Pixel pro Seite benötigen; wählen Sie den gewöhnlichen Spicy-Endpunkt, wenn Seiten mit maximal 1536 Pixeln für Ihr Porträt ausreichen. Die größere öffentliche Abmessungsgrenze ist ein bestätigter Funktionsunterschied, kein Beleg dafür, dass Pro jede erwachsene Figurenszene besser umsetzt.

Beheben Sie das tatsächlich sichtbare Symptom

ComfyUI rendert, aber SillyTavern meldet, Bilder seien nicht verfügbar

Öffnen Sie Image Generation und wählen Sie eine konfigurierte Quelle. Eine neue oder ältere Installation kann eine nicht verbundene Quelle beibehalten. Prüfen Sie die Adresse im Bildpanel statt der Chat-API-URL. Ist die Quelle ein Clouddienst, verwenden Sie dessen eigene Bildzugangsdaten und Konfiguration. Eine funktionierende Textverbindung stellt keine Bildverbindung her.

Versuchen Sie dann eine kurze manuelle Bildanfrage. Funktioniert sie, wechseln Sie zu kontextabgeleiteten Bildprompts. Ein aufwendiger automatischer Auslöser am Anfang erschwert die Unterscheidung zwischen unerreichbarer Quelle und einem Auslöser, der die Nachricht nie erkannt hat.

SillyTavern verbindet sich, aber jedes Bild sieht wie das Workflowbeispiel aus

Öffnen Sie den Workflow im API-Format und suchen Sie den positiven Text, den sein Graph tatsächlich verwendet. Ersetzen Sie das feste Beispiel an diesem wirklichen Eingang durch die Promptersetzung. Prüfen Sie andere aktive Textfelder und Präfixe auf dasselbe alte Motiv. Andere Seeds liefern lediglich andere Versionen des weiterhin fest eingetragenen Prompts.

Das Bild scheitert nur bei geladenem Chatmodell

Lassen Sie den erfolgreichen isolierten Bildworkflow unverändert und wählen Sie Speichertrennung: Remote-Bilder, gehosteter Chat oder nacheinander ausgeführte lokale Aufgaben. Wollen Sie gleichzeitige lokale Ausführung, reduzieren Sie zuerst die tatsächliche Kontextzuweisung oder GPU-Layer des Backends. Wiederholen Sie nicht ständig dieselbe kombinierte Aufgabe in der Erwartung einer anderen verfügbaren Speichermenge.

Das erste Bild funktioniert, danach wird die nächste Chatantwort langsam

Prüfen Sie den Speicher nach dem fertigen Bild. ComfyUI kann Modelle für schnellere Wiederverwendung behalten, während das Textbackend Arbeit in langsameren Speicher verlagert hat. Entladen Sie die abgeschlossene Bildaufgabe vor der nächsten Antwort oder verlagern Sie Bilder remote. Stellt ein Neustart des Chatprozesses die normale Geschwindigkeit wieder her, speichern Sie ein kleineres Profil für gemeinsame Nutzung, statt das speicherfüllende Chatprofil erneut konkurrieren zu lassen.

Sie haben ComfyUI entladen, aber der VRAM wirkt weiterhin voll

Ermitteln Sie den Prozess, der die verbleibende Zuweisung hält. ComfyUI kann eigene Modelle freigeben; es kann das LLM einer anderen Anwendung nicht entladen. Unterscheiden Sie außerdem zugewiesenen Cache von tatsächlich an das Gerät zurückgegebenem Speicher. Stoppen Sie für die manuelle Ausgangsmethode die Backendprozesse bewusst und prüfen Sie die Speicheränderung, bevor Sie einen davon wieder starten.

Das Bild startet nie, nachdem Sie nach der letzten Szene fragen

Versuchen Sie dieselbe Szene als selbst geschriebene Bildanfrage im freien Modus mit deaktivierter Prompterweiterung. Funktioniert das, prüfen Sie den Textmodellschritt zum Promptschreiben. Dessen Endpunkt kann gestoppt sein, seine Antwort leer oder seine Anweisungen können Fließtext statt des vom Workflow erwarteten Formats erzeugen. Freier Bildspeicher repariert keine fehlende Textantwort.

Der Renderer startet und scheitert erst beim abschließenden Feinschliff

Entfernen Sie Detailer, zweiten Samplingdurchlauf oder Upscaler aus dem laufenden Graph und rendern Sie sein Grundbild. Funktioniert das, speichern Sie es und führen Sie die Zusatzphase getrennt bei entladenem Textbackend aus. Sie können den aufwendigeren Workflow für fertige Arbeiten behalten, ohne ihn für jedes spontane Chatbild einzusetzen.

Die GPU ist nicht voll, trotzdem ist alles quälend langsam

Prüfen Sie, ob die tatsächliche Aufgabe auf dem vorgesehenen beschleunigten Gerät läuft und ob der Arbeitsspeicher erschöpft ist. Starkes CPU-Offloading kann ein Setup technisch funktionsfähig, aber für ein laufendes Gespräch unangenehm machen. Eine weitere VRAM-Optimierung tauscht dann möglicherweise Geschwindigkeit gegen noch mehr Offloading; eine Aufgabe remote zu verlagern kann die deutlichere Verbesserung sein.

Nur illustrative Zahlen: Ein Modell, das auf eine freie 16-GB-Karte passt, passt möglicherweise nicht neben ein LLM, das bereits den Großteil belegt.

Ein realistischer Startplan für Ihre nächste Sitzung

Für 8 GB lassen Sie nur eine anspruchsvolle Generierungsaufgabe lokal laufen. Haben Sie bereits ein gutes lokales Rollenspielmodell, lassen Sie es geladen und erstellen Sie gelegentliche Bilder über eine unterstützte Remote-Quelle oder einen zweiten Browsertab. Haben Sie einen guten lokalen Bildworkflow, stoppen Sie das Textbackend und nutzen Sie gehosteten Chat. Wählen Sie vollständig lokales Umschalten, wenn das Material auf Ihrem Rechner wichtiger ist als ein nahtloses Tempo.

Für 16 GB beginnen Sie mit demselben einfachen Plan, wenn das lokale LLM aktuell den Großteil der Karte belegt. Haben Sie Spielraum zum Experimentieren, prüfen Sie zuerst den Bildworkflow allein und testen Sie dann ein kleineres Chatprofil mit einem Bild, ohne Detaildurchlauf und mit begrenztem Kontext. Ein stabiles Paar ist nützlich; ein Setup, das nur passt, bevor das Gespräch wächst, ist kein zuverlässiger Abendplan.

Das Ziel ist eine Sitzung, in der Sie weiterlesen und weiterschreiben können, statt fehlgeschlagene Aufgaben ständig neu zu starten. Geben Sie der GPU eine klare Aufgabe, verbinden Sie die Bildquelle über ein von SillyTavern tatsächlich unterstütztes Protokoll und halten Sie den ersten laufenden Workflow klein genug zur Fehlersuche. Sobald das funktioniert, ergänzen Sie die Figurensteuerung oder den abschließenden Schritt, den Sie am meisten vermissen – jeweils einzeln.