Sketch-to-Video-KI-Workflow: Die Zeichnung behalten, die Bewegung hinzufügen

Um eine Skizze zu animieren und sie wie eine Skizze aussehen zu lassen, senden Sie die bereinigte Zeichnung als erstes Bild, fordern Sie eine kleine Bewegung an und beobachten Sie, ob die Linien bis zum letzten Bild Linien bleiben. Image-to-Video-Modelle starten von Ihrem Bild, dürfen es aber frei neu auslegen. Der übliche Fehlschlag ist deshalb ein Clip, der als Ihre Zeichnung beginnt und langsam zu schattiertem, fotografischem Material wird.

SpicyAPI hat keine eigene Sketch-to-Video-Aufgabe. Der Weg lautet: Zeichnung vorbereiten, sie optional mit einem Bildmodell weiterentwickeln, dann einen Image-to-Video-Task starten. So bleibt der Look Ihrer Zeichnung erhalten, nicht aber editierbare Strichpfade.

Die Beispiele unten verwenden eine Szene: einen handgezeichneten Vogel im kantigen Origami-Stil, gezeichnet als ungefüllte Tintenkontur auf cremefarbenem Papier, mit einem geöffneten Flügel und einer kleinen Tischglocke, die der Vogel anschlägt. Hohlformen und leeres Papier machen Drift leicht erkennbar.

Entscheiden Sie, was "die Skizze behalten" heißt

Schreiben Sie vor dem Prompt auf, was sich nicht ändern darf. Für den Vogel: Die schwarze Kontur bleibt ungefüllt, das Innere des Flügels bleibt offen, die Seite bleibt cremefarben und weitgehend leer, die Strichstärke bleibt locker und die Glocke bleibt eine schlichte Kontur. An diesen vier Prüfungen halten Sie den Clip fest (siehe "Linientreue zuerst testen").

Legen Sie auch fest, wie streng Sie sind. "Als meine Zeichnung wiederzuerkennen" ist mit einem Video-Modell machbar. "Meine tatsächlichen, editierbaren Striche" nicht: Das Modell synthetisiert neue Bilder und kann eine Kontur neu zeichnen, während der Stil erhalten bleibt.

Beschreiben Sie die Bewegung so präzise wie möglich: "Der rechte Flügel hebt sich einmal und berührt die Glocke; der Körper bleibt stehen" lässt sich prüfen, "bringe es zum Leben" nicht. Eine kleine Bewegung zeigt, ob der Stil überlebt, bevor Sie Rotation oder Inszenierung hinzufügen.

Warum Skizzen driften

Das Modell liest Ihr Bild plus den Prompt und synthetisiert eine Sequenz; es verfolgt keine Striche. Wörter wie realistisch, kinomäßige Beleuchtung, detaillierte Federn lassen es die Markierungen als Beschreibung eines physischen Tieres behandeln. Mehrdeutige Markierungen tun dasselbe: Eine Konstruktionsellipse kann als Schatten gelesen werden, eine offene Kontur als unvollständige Form.

Die Drift ist schleichend. Die ersten Bilder passen zu Ihrem Upload; spätere Bilder kommen mit weicher Schattierung, Textur oder gefüllten Flächen daher. Prüfen Sie also die Mitte und das Ende, nicht den Anfang.

Die Abhilfe folgt der Ursache. Der Prompt verlangt Realismus: Schreiben Sie ihn auf flache Tintenanimation um. Die Eingabe ist mehrdeutig: Bereinigen Sie sie. Erfindet das Medium danach immer noch neu: Verwenden Sie kontrollierte Animation.

Direkt animieren oder erst eine Bildstufe

Animieren Sie die Zeichnung direkt, wenn sie bereits das fertige Werk ist: eine freigegebene Quelle, eine Anweisung, sie zu bewegen. Das ist der Weg für den Vogel.

Fügen Sie eine Bildstufe hinzu, wenn die Skizze nur ein Plan ist, etwa um Proportionen zu korrigieren, eine Farbpalette hinzuzufügen oder ein grobes Storyboard in eine stimmige Illustration zu verwandeln. Geben Sie das neue Standbild frei, bevor Sie animieren; wenn es den Körper gefüllt oder das Papier ersetzt hat, liegt der Fehler nicht beim Video-Modell.

Überspringen Sie die Bildstufe, wenn Ihr einziges Problem ein schiefer oder schlecht beleuchteter Scan ist. Normale Bildbearbeitung behebt das ohne generatives Redesign.

Das erste Bild vorbereiten

• Entfernen Sie Aufnahmeartefakte, die Sie nicht animiert haben wollen: Schatten, Finger, Tischkanten, einen schiefen Rand. Sonst animiert das Modell womöglich die Seite als physisches Objekt statt der Zeichnung als flache Figur.
• Scannen oder fotografieren Sie bei gleichmäßigem Licht und richten Sie die Seite aus. Schneiden Sie auf die Form zu, die Sie wollen, denn das Bild setzt die Proportionen des Clips, und lassen Sie Raum für die Bewegung.
• Löschen Sie Konstruktionsellipsen und verirrte Hilfslinien, sofern sie nicht Teil des Stils sind; das Modell kann einen unfertigen Strich nicht von einem ausdrucksstarken unterscheiden.
• Behalten Sie feine Papierstruktur, aber keinen starken Schatten über dem Motiv.
• Lassen Sie Platz für die Bewegung: Der Flügel braucht Raum zum Heben, die Glocke sollte gut erreichbar sein. Muss der Vogel über die halbe Seite greifen, dehnt das Modell den Körper oder erfindet ein zweites Glied.
• Halten Sie Pfeile und Beschriftungen aus dem eingereichten Bild heraus; sie können im Clip auftauchen. Legen Sie sie auf ein separates Prüfblatt.
• Exportieren Sie als JPEG, PNG ohne Transparenz oder WEBP. Wan 2.6 akzeptiert 240 bis 8.000 Pixel pro Seite, bis 20 MB, während das Upload-Feld bei 10 MB gedeckelt ist. Bleiben Sie also unter 10 MB.

Schreiben Sie einen Prompt, der die Zeichnung fortsetzt

Nennen Sie zuerst das Medium, dann eine Bewegung, die Kamera und die Grenzen:

Continue this flat black-ink drawing on cream paper. The bird stays in the same
position and lifts its right wing once to tap the small outlined desk bell.
The wing lowers again. Preserve the loose ink contours, unfilled shapes and
blank paper background. No camera movement and no scene change.
Audio: one soft bell tap, otherwise quiet.

Halten Sie die Sprache flach. Federdetails, glänzende Augen und volumetrisches Licht ziehen zu einem physischen Tier. Sagen Sie knapp, was bleiben soll ("ungefüllter Körper, keine neue Szenerie"), statt jedes verbotene fotografische Merkmal aufzuzählen. Nur die Wan-2.6-Familie (Wan 2.6 und Wan 2.6 Flash) hat ein eigenes Feld negative_prompt; bei LTX 2.5 und H3 LoRA gehört die Grenze in den Haupt-Prompt.

Fixieren Sie die Kamera für den ersten Test. Ein langsamer Push-in wirkt poliert, verdeckt aber, ob sich die Figur bewegt hat. Testen Sie Kamerabewegungen separat.

Den ersten Test auf Wan 2.6 fahren

Probieren Sie es im Playground, bevor Sie Code schreiben:

1. Öffnen Sie Wan 2.6 image to video, bleiben Sie im Playground-Tab in der Form-Ansicht und loggen Sie sich zum Ausführen ein.
2. Fügen Sie unter Input image die bereinigte Zeichnung über Choose a file oder Asset URL hinzu.
3. Fügen Sie den obigen Prompt in Prompt ein und tragen Sie shading, color fill, photographic texture, camera movement in Negative prompt ein.
4. Setzen Sie Resolution auf 720p, Duration auf 5 und Shot structure auf Single take; fixieren Sie einen Seed.
5. Führen Sie das Modell aus und prüfen Sie den ganzen Clip gegen die vier Linienprüfungen unten.

Wan 2.6 mit diesem Prompt öffnen →

Um dieselbe Anfrage aus Code zu starten, laden Sie die Zeichnung hoch und erstellen Sie den Task mit der CLI. spicyapi files upload gibt eine spicy://-Adresse aus; fügen Sie sie als image_url ein:

spicyapi files upload ./bird.png   # copy the spicy:// address it prints
cat > input.json <<'EOF'
{
  "image_url": "spicy://f/PASTE_ADDRESS",
  "prompt": "Continue this flat black-ink drawing on cream paper. The bird stays in the same position and lifts its right wing once to tap the small outlined desk bell. The wing lowers again. Preserve the loose ink contours, unfilled shapes and blank paper background. No camera movement and no scene change. Audio: one soft bell tap, otherwise quiet.",
  "negative_prompt": "shading, color fill, photographic texture, camera movement",
  "duration_seconds": 5,
  "resolution": "720p",
  "shot_type": "single",
  "seed": 14327
}
EOF
spicyapi tasks create --model alibaba/wan-2.6/image-to-video --input-file input.json --wait

Der Fünf-Sekunden-Lauf in 720p kostet $0.45. Warten, Ergebnisse und Wiederholungen stehen im Image-to-Video-Guide.

Wenn ein Agent den Test ausführen soll, fügen Sie den MCP-Server hinzu (spicyapi_upload_file, spicyapi_task_create, spicyapi_task_wait; er hält für Ihre Preisbestätigung an). npx skills add spicyapi-ai/spicy-skill installiert den Skill, der einem Assistenten beibringt, CLI oder MCP zu nutzen.

Wählen Sie den Task nach der Kontrolle, die Sie brauchen

Alle drei akzeptieren ein Startbild; sie unterscheiden sich in den Kontrollmöglichkeiten.

Preise wie im Katalog von Oktober 2026 gelistet; die Modellseite zeigt den aktuellen Satz.

• Sie brauchen eine "darf nicht erscheinen"-Liste: Wan 2.6. Lassen Sie den Shot-Typ auf single, damit die Zeichnung ein durchgehender Take bleibt; Multi-Shot-Schnitte brechen die Kontinuität und schalten Prompt-Expansion ein.
• Sie brauchen eine geplante Endpose: LTX 2.5 oder H3 LoRA. Das Schlussbild setzt die gemeinte Endpose, nicht die Route, und längere LTX-Clips driften weiter davon ab. H3 funktioniert ohne LoRA, ein Test mit 3 s und 480p mit Schlussbild ($0.15) ist also der günstigste Weg, das auszuprobieren.
• Sie haben eine für einen Zeichenstil trainierte LoRA: H3 LoRA, das auch ein Schlussbild nimmt. Sie muss für MiniMax H3 trainiert sein; eine SDXL-Line-Art-LoRA funktioniert nicht. Starten Sie Konzept-LoRAs bei einem Scale von 0.6 bis 0.8, denn bei 1 können sie den Clip von Ihrem Bild wegziehen.
• Sie iterieren im Budget: Wan 2.6 Flash nimmt dasselbe Startbild für $0.0225 pro Sekunde bei 720p, nur Bild. Nutzen Sie es, um Prompt und Bewegung zu klären, und wiederholen Sie dann den Gewinner auf Wan 2.6, wenn Sie Ton brauchen; rechnen Sie mit einem anderen Take und prüfen Sie die Linienprüfungen auf dem finalen Modell erneut.

Beginnen Sie mit 5 Sekunden, lassen Sie den Seed fest und ändern Sie pro Lauf nur eine Prompt-Anweisung, damit die Takes leichter vergleichbar sind; ein fester Seed garantiert keine identischen Bilder.

Verwenden Sie ein Schlussbild nur aus einem Grund

Eine zweite Zeichnung hilft, wenn Sie ein bestimmtes Ziel brauchen, etwa den Flügel nach dem Anschlag unten. Sie muss dieselbe Szene zeigen: dasselbe Papier, dieselbe Rahmung, denselben Maßstab und dieselbe Strichsprache. Ist der Vogel im Schlussbild größer, muss das Modell entscheiden, ob er näher gekommen ist, gewachsen ist oder neu gezeichnet wurde.

Beobachten Sie die letzten Momente. Manche Clips bewegen sich plausibel und springen dann in die Schlusskomposition, mit einem plötzlichen Neuzeichnen der Kontur oder einem Objekt-Sprung. Das passt zu einem stilisierten Schnitt, nicht zu einer sanften Bewegung.

Zeigen beide Enden dieselbe Pose, ist eine Ebenenanimation mit sauberer Rückkehr zur Originalzeichnung meist genauer als eine generierte Schleife.

Linientreue zuerst testen

Führen Sie eine Zeichnung, eine Bewegung und eine Kameraeinstellung aus. Legen Sie vor dem Absenden vier Prüfungen fest: Die Kontur bleibt schwarze Tinte, der Körper bleibt ungefüllt, die Seite bleibt cremefarben und weitgehend leer, und der Flügel macht eine verständliche Bewegung in Richtung Glocke. Ein Clip kann einige bestehen und andere verfehlen, und welche verfehlen, sagt Ihnen, was zu ändern ist.

Ist die Ursache unklar, führen Sie eine zweite Bedingung aus, in der nur die Glocke klingelt und der Vogel stillsteht. Bleiben die Linien dort erhalten, aber nicht beim Flügelanschlag, löst die Gliedmaßenbewegung das Neuzeichnen aus.

Halten Sie die Eingabe über die Bedingungen hinweg identisch. Ändern Sie Kontrast, Beschnitt und Prompt zusammen, können Sie nicht sagen, was geholfen hat; speichern Sie eine bereinigte Eingabe als separate Version.

Schauen Sie in normaler Geschwindigkeit und gehen Sie dann Schritt für Schritt durch den Teil, in dem Konturen instabil wirken. Standbilder aus Anfang, Mitte und Ende verpassen das Flackern dazwischen.

Was Sie prüfen sollten

• Silhouette: Körper, Kopf und Flügelanordnung überstehen den Anschlag.
• Topologie: Der offene Flügel bleibt offen, der Schnabel bleibt angewachsen, es erscheint kein zusätzliches Glied, und die Glocke bleibt eine zusammenhängende Kontur.
• Strichrhythmus: Kleine Schwankungen lesen sich als handgezeichnet; verschwindende Konturen und ständig neu geschriebene Markierungen lesen sich als Instabilität. Eine lockere Kritzelei verträgt mehr als ein Instruktionsdiagramm.
• Maßstab: Ein Push-in macht Linien schwerer wirken. Vergleichen Sie im gleichen Maßstab, in voller Auflösung und in der Auslieferungsgröße.

Eine bewegte Zeichnung kann nicht jeden Pixel fixieren, beurteilen Sie also Struktur und Medium, nicht Pixelidentität.

Häufige Fehler beheben

Das Modell füllt die Zeichnung aus oder fügt Textur hinzu. Prüfen Sie zuerst die Eingabe: Eine graue Waschung im Vogel gibt dem Modell tonale Informationen zum Entwickeln, erstellen Sie also eine ungefüllte Version, wenn ungefüllte Formen wichtig sind. Entfernen Sie "detailed feathers", "realistic shadows" und "cinematic depth" aus dem Prompt und beschreiben Sie das Medium positiv. Halten Sie die Bewegung klein: Eine volle 3D-Drehung zwingt das Modell, Rücken und Unterseite zu erfinden, und die Textur kommt mit. Hat eine Bildstufe das Füllen verursacht, reparieren Sie das Standbild, bevor Sie mehr Video laufen lassen. Ist eine Mischform akzeptabel (Tintenvogel, Aquarell-Glocke), geben Sie sie an.

Die Linien flackern. Ein leichtes Wackeln gehört zum Charme einer Kritzelei; ein Auge, das erscheint und verschwindet, oder ein Flügel, der pro Bild neue Striche bekommt, nicht. Reduzieren Sie bewegte Teile: Fixieren Sie Körper und Kopf und testen Sie nur den Flügel. Machen Sie dünne blasse Linien in der Eingabe kräftiger, da sie in der Auslieferungsgröße verschwinden, und speichern Sie das als neue Eingabeversion. Ist der heruntergeladene Clip stabil, aber Ihr Social-Upload flimmert, ist die Kompression das Problem; vergleichen Sie dasselbe Segment vor und nach dem Export.

Nur die Kamera bewegt sich. Ein langsamer Zoom kann eine reglose Figur verdecken. Fixieren Sie die Kamera und geben Sie der Bewegung eine sichtbare Folge, etwa einen Flügel, der die Glocke erreicht, und eine Glocke, die kippt. Stapeln Sie nicht Flug, Rotation und fallendes Papier auf ein statisches Ergebnis; fordern Sie zuerst eine kleinere, klarere Geste an.

Ein längeres Stück aus kurzen Momenten bauen

Geben Sie zuerst ein kleines Bewegungsrepertoire frei (Flügelanschlag, Kopf drehen, Seitenübergang) und behandeln Sie jedes als Schnitt-Einheit. Einen ungelösten Request auf 15 Sekunden zu strecken, gibt einem Fehler nur mehr Zeit.

Verwenden Sie über alle Eingabebilder hinweg dieselbe Papierfarbe, Strichstärke und Proportionen; die Inkonsistenz zwischen Shots beginnt vor der Generierung. Schnitte sind sicherer als Überblendungen, die doppelte Konturen erzeugen, die wie Fehler aussehen. Verwenden Sie für eine wiederkehrende Figur konsistente Quellzeichnungen, statt sie in jedem Prompt neu zu beschreiben. Ein leises Glockenanschlagen oder Raumton kann Shots verbinden; ist der generierte Ton falsch, nehmen Sie Ihre eigene Spur.

Sehen Sie den fertigen Film in der Auslieferungsgröße an: Wiederholte kleine Linienänderungen, die in einem Clip in Ordnung waren, werden über einen längeren Schnitt mühsam.

Budget

Bei den obigen Sätzen kostet ein 5-Sekunden-Test auf Wan 2.6 bei 720p $0.45 und bei 1080p $0.675, zwei 720p-Kandidaten also $0.90. Ein 3-Sekunden-Test mit H3 LoRA bei 480p kostet $0.15. LTX 2.5 mit 5 Sekunden kostet $0.45 bei 720p. Generierungen für die Bildstufe und zusätzliche Kandidaten kosten extra.

Setzen Sie eine Stoppregel. Geben beide Kandidaten das Line-Art-Medium auf, ändern Sie die Route oder die Eingabe, bevor Sie weiter generieren. Hält die Zeichnung, scheitert aber die Geste, vereinfachen Sie die Bewegung.

Wann eine andere Route besser passt

Müssen Striche editierbar bleiben oder das Timing exakt wiederholen, nehmen Sie traditionelle Animation oder Ebenenanimation. Auch Enthüllungen passen besser dazu als gegliederte Bewegung: ein Schwenk oder ein gezeichnetes Highlight über einem Architekturplan, oder eine Strich-für-Strich-Logo-Enthüllung aus editierbaren Pfaden. Für den Vogel trennen Sie Flügel, Körper und Glocke in Ebenen, drehen Sie den Flügel um einen Drehpunkt, kippen Sie die Glocke und lassen Sie beide zurückkehren. Jede Konturänderung gehört Ihnen.

Für Skizzen-Bedingung auf Forschungsniveau dokumentiert das SketchVideo-Repository (ein oder zwei Skizzen-Keyframes mit eigenen Kontrollmodulen) sein eigenes Setup, seine Gewichte und seine Einschränkungen; es ist ein separates Projekt, kein SpicyAPI-Task.

Zusammenfassung

Müssen die Originalstriche planbar bewegt werden, nehmen Sie Ebenenanimation; sonst ist der nächste Test ein 5-Sekunden-Flügelanschlag mit fixierter Kamera aus der bereinigten Zeichnung auf Wan 2.6, geprüft über den ganzen Clip auf ungefüllte Formen, verbundene Konturen und stabiles Papier. Soll die Skizze zu einer Illustration oder realistischen Szene werden, geben Sie das Standbild frei, bevor Sie animieren.