Motion Graphics direkt aus dem Prompt: Text wird zu animiertem Code
Viele Videos müssen gar nicht gedreht werden, denn oft genügen wenige Worte, ein Datum und Bewegung. Motion Graphics mit animierter Schrift, Formen und Bildern lassen sich jetzt per Prompt als Code erzeugen und eignen sich so für Aktionen, Produktauftakte oder Eröffnungen.
Veröffentlicht am 23. Oktober • Zuerst veröffentlicht auf deepvariance.com
Manche Videos sollten nicht gefilmt werden. Ein Verkauf, der am Freitag startet, ein Produkt, das nächste Woche erscheint, eine Bäckerei, die am Samstag eröffnet: Die Botschaft besteht aus wenigen Worten, einem Datum und vielleicht einem Bild. Was das Ganze wirksam macht, ist die Art und Weise, wie sich die Worte bewegen. Das ist Motion Design: gestaltete Typografie, Formen und Bilder, animiert zur Musik.
DV4 erstellt Motion Graphics aus einem Prompt. Dieser Beitrag erklärt, wie das funktioniert, denn die Methode ist ungewöhnlich. Dahinter steckt keine Vorlage.
Gefilmte Aufnahmen sind gut bei Menschen, Orten und Dingen im Licht. Motion Graphics sind gut bei Botschaften: ein Launch-Datum, drei Gründe zum Kauf, ein Vorher-Nachher, eine Eröffnungsankündigung. Sie lassen sich auch auf dem Handy ohne Ton klar erfassen, und jedes Wort stimmt exakt, weil jedes Wort als Typografie gesetzt ist.
In DV4 ist ein Motion-Graphics-Video gestaltete Bewegung mit Ihren Bildern und Ihrer Musik. Es wird kein Filmmaterial generiert. Die Funktion ist in den kostenpflichtigen Tarifen enthalten, im Quer- oder Hochformat.
Eine übliche Methode, aus einem Prompt ein animiertes Video zu erstellen, ist eine Vorlage: ein Satz von Layouts und Bewegungen, in den Ihre Worte eingesetzt werden. Das geht schnell, und jeder Kunde erhält dieselben Bewegungen.
DV4 verwendet keine Vorlagen. Ein Modell schreibt jeden Film als Code: das Layout jeder Szene, die Typografie, die Farben, die Art, wie jedes Element ein- und ausgeblendet wird, die Schnitte. Es arbeitet so, wie ein Motion Designer arbeiten würde, der Code schreibt, mit einer eigenen Datei, die es bearbeitet, rendert und erneut bearbeitet.
Damit zwei Anfragen nicht denselben Film erhalten, gibt es keinen Hausstil. Keine Standard-Farbpalette, kein Standard-Easing, keine Abschlusskarte, die jedes Video teilt. Jeder Auftrag entwickelt seine eigene Stilrichtung und seine eigenen Referenzen, und das Modell hält sich daran, sofern Ihr Prompt oder Ihre Bilder nichts anderes vorgeben.
Wie der Rest von DV4 funktioniert, die Planung, die Prüfungen und die Montage, ist in From one line to a finished video beschrieben.
Code für einen Film zu schreiben, ohne ihn zu sehen, ist wie Schriftsatz mit geschlossenen Augen. Deshalb rendert das Modell einen Entwurf, betrachtet Frames daraus und korrigiert, was es sieht: einen zu kleinen Titel, eine Szene, die an den Rand gedrängt ist, einen Übergang, der die nächste Zeile verdeckt, bevor man sie lesen kann.
Diesen Schritt kann es nicht überspringen. Das Modell kann erst fertigstellen, wenn die Version, die es abschließt, gerendert und betrachtet wurde.
Das Modell ist nicht der einzige Betrachter. Code prüft jedes Rendering und reicht die Feststellungen zurück, bevor der Film fertiggestellt werden kann:
Bevor Sie den fertigen Film sehen, durchlaufen seine Worte und Frames die Sicherheitsprüfungen von DV4, wie jedes Video. Der Code selbst wird gescannt, bevor er überhaupt ausgeführt wird, darf das Netzwerk nicht aufrufen und läuft nur in einem headless Browser auf unseren eigenen Workern.
Animierte Statistiken sind ein Lieblingselement des Motion Designs und zugleich ein Risiko. Ein Modell, das nach „drei großen Zahlen“ gefragt wird, erfindet diese gerne.
DV4s Plan wird genau daraufhin geprüft. Eine Statistik erscheint nur, wenn die Zahl von Ihnen stammt. Ein Zitat erscheint nur, wenn Sie die Worte in Anführungszeichen geschrieben haben. Wenn Sie „40% Rabatt“ auf dem Bildschirm möchten, schreiben Sie „40% Rabatt“ in Ihren Prompt.
Sie können eigene Bilder hinzufügen, vom Produkt, vom Laden oder vom Team, und der Film wird um sie herum gestaltet statt um Stock-Formen. Für den Ton komponiert DV4 Musik für den Film, und die Szenen werden auf seine Beats geschnitten. Wenn Sie einen Track verwenden möchten, laden Sie ihn stattdessen als Soundtrack hoch.
Motion Graphics laufen zu Musik, nicht zu Sprache. Ein Motion-Graphics-Video nimmt keine Sprachaufnahme entgegen.
Sagen Sie, wofür der Film gedacht ist, was er sagen muss und wie er wirken soll:
Eine 15-sekündige Hochformat-Ankündigung für die Groß eröffnung der Bloom Bakery diesen Samstag um 9 Uhr. Warm und lebhaft. Das Datum groß zeigen. Mit der Adresse enden: 12 Elm Street.
Motion Graphics in DV4 sind nicht vertont: Es gibt keinen Voice-over. Der Film verwendet noch kein Brand Kit, geben Sie also Ihre Farben im Prompt an, wenn sie wichtig sind. Er bearbeitet kein bereits vorhandenes Video. Und wenn ein Film fehlschlägt, was bei einem Modell passieren kann, das Code schreibt, wird der Auftrag erstattet und Sie können ihn erneut ausführen.
Schreiben Sie die Ankündigung, die Sie schon lange vor sich herschieben, in einem Absatz, und sehen Sie zu, wie DV4 sie gestaltet, seine eigenen Entwürfe betrachtet und sie fertigstellt. Motion Graphics können Sie in DV4 mit jedem kostenpflichtigen Tarif erstellen.
Jeder Entwurf wird gerendert und jeder Frame wird geprüft, und all das läuft auf GPUs und CPUs, die Geld pro Sekunde kosten. Das schneller und günstiger zu machen, ist die andere Hälfte dessen, was wir bei Deep Variance tun: Wir bauen den Auto-Tuning-Inference-Stack für Open-Source-Diffusion-Modelle, und DV4 läuft auf diesem Stack.
Zuerst veröffentlicht im Deep Variance Blog.
Automatisch übersetzt. Das Original auf Englisch ist unten aufklappbar.
Original (Englisch) anzeigen
Posted on Oct 23 • Originally published at deepvariance.com
Some videos should not be filmed. A sale that starts on Friday, a product that launches next week, a bakery that opens on Saturday: the message is a few words, a date and maybe a picture. What makes it work is how the words move. That is motion graphics: designed type, shapes and pictures, animated to music.
DV4 makes motion graphics from a prompt. This post explains how, because the method is unusual. There is no template behind it.
Filmed shots are good at people, places and things in light. Motion graphics are good at messages: a launch date, three reasons to buy, a before and after, an opening announcement. They read clearly on a phone with the sound off, and every word is exact, because every word is set as type.
In DV4 a motion graphics video is designed motion with your pictures and music. No footage is generated. It is on the paid plans, in landscape or vertical.
A common way to make an animated video from a prompt is a template: a set of layouts and moves with your words dropped in. It is fast, and every customer gets the same moves.
DV4 has no templates. A model writes each film as code: the layout of every scene, the type, the colours, the way each element enters and leaves, the cuts. It works the way a motion designer who writes code would, with a file of its own that it edits, renders and edits again.
So that two requests do not get the same film, there is no house style. No default palette, no default easing, no end card that every video shares. Each job draws its own style direction and its own references, and the model commits to them unless your prompt or your pictures say otherwise.
How the rest of DV4 works, the planning, the checks and the assembly, is in From one line to a finished video.
Writing code for a film without seeing it is like setting type with your eyes closed. So the model renders a draft, looks at frames from it and fixes what it sees: a title that is too small, a scene that crowds the edge, a transition that hides the next line before you can read it.
It cannot skip that step. The model can only finish once the version it is finishing has rendered and been looked at.
The model is not the only one looking. Code checks every render and hands the findings back before the film can be finished:
Before you see the finished film, its words and its frames go through DV4's safety checks, as every video does. The code itself is scanned before it ever runs, may not call the network, and runs only in a headless browser on our own workers.
Animated statistics are a motion graphics favourite, and a liability. A model that is asked for "three big numbers" will happily make some up.
DV4's plan is checked for exactly that. A statistic appears only when the figure came from you. A quote appears only when you wrote the words in quotation marks. If you want "40% off" on screen, put "40% off" in your prompt.
You can add your own pictures, of the product, the shop or the team, and the film is designed around them rather than around stock shapes. For sound, DV4 composes music for the film, and the scenes are cut to its beats. If you have a track you want to use, upload it as your soundtrack instead.
Motion graphics play over music, not over speech. A motion graphics video does not take a voice recording.
Say what the film is for, what it must say and how it should feel:
A 15-second vertical announcement for Bloom Bakery's grand opening this Saturday at 9 am. Warm and lively. Show the date big. End with the address: 12 Elm Street.
Motion graphics in DV4 are not narrated: there is no voice-over. The film does not use a brand kit yet, so give your colours in the prompt if they matter. It does not edit a video you already have. And when a film fails, which can happen with a model writing code, the job is refunded and you can run it again.
Write the announcement you have been putting off, in one paragraph, and watch DV4 design it, look at its own drafts and finish it. You can make motion graphics in DV4 on any paid plan.
Every draft is rendered and every frame is checked, and all of it runs on GPUs and CPUs that cost money by the second. Making that work faster and cheaper is the other half of what we do at Deep Variance: we build the auto-tuning inference stack for open-source diffusion models, and DV4 runs on the stack.
Originally published on the Deep Variance blog.