Experten aus Google-Recherche und "Hebräische Universität Jerusalem sie entwickelten sich Dreamix, Software, die aus beliebigen Materialien Videos erstellen kann, die Textanweisungen entsprechen. Ein weiterer Fortschritt für generative künstliche Intelligenz bei der Sicherung aller Ausdrucksformen (nach Testi, Metaphorik e Audio-). Das Besondere an Dreamix ist, dass es sich nicht auf Textanweisungen beschränkt, sondern zur besseren Anpassbarkeit an die Vorstellungen der Nutzer auch Referenzfotos oder Videos akzeptiert.
Drei Betriebsmodi ausgehend von Textanweisungen, Bildern, Clips
Beginnend mit Bildern, Clips oder Textanweisungen bietet Dreamix drei Hauptfunktionen: Videobearbeitung, Generation von Videos aus Bildern und Generation basierend auf dem Thema.
Mit 'VideobearbeitungDreamix kann problemlos Eingabevideos abspielen und Elemente durch Ihre Lieblingsobjekte ersetzen. Sie können beispielsweise einen Clip hochladen, in dem eine Person eine Frucht schneidet, und die KI bitten, die Frucht durch ein Stück Kuchen zu ersetzen. Sie können einige Aufnahmen eines Maisfeldes bereitstellen und so eine dramatischere Szene schaffen. Wie immer zeige ich euch zuerst die Clips der beiden Beispiele.
Dreamix ist in der Lage, Videos zu produzieren beginnend mit Bildern (und/oder Textanweisungen). In diesem Beispiel verwandelte künstliche Intelligenz ein statisches Bild in ein dynamisches Werk, indem sie einen schwimmenden Hai einfügte und die Schildkröte in Bewegung versetzte. Position und Hintergrund wurden originalgetreu beibehalten, während die Richtung der Schildkröte geändert wurde.
Die letzte der drei Funktionen ermöglicht es Dreamix, animierte Videos aus einer kleinen Sammlung von Bildern zu erstellen, die dasselbe Motiv zeigen. Wenn Sie dieser KI beispielsweise einige Bilder eines Spielzeugfeuerwehrmanns zuführen, extrahiert sie die visuellen Merkmale des Subjekts und animiert sie, sodass das Subjekt in Textanweisungen definierte Aktionen ausführen kann.
Kurz gesagt
Diese Technologie könnte für Kreative, die sich nicht nur auf verbale Sprache verlassen, sondern sich auch von visueller Kunst inspirieren lassen, bahnbrechend sein. Im Moment scheinen die Ergebnisse noch sehr unsicher zu sein, aber sie zeigen dennoch die Fähigkeit der KI, Textanweisungen und den Kontext von Eingabebildern zu verstehen.
Dreamix kann ein wertvolles Hilfsmittel sein, um die Erstellung von Storyboards oder Referenzillustrationen zu beschleunigen. Es ist derzeit nicht für die Öffentlichkeit zugänglich (und wir fragen uns, ob Google es zu einem der „Standardträger“ machen wird, um auf ChatGPT zu reagieren), es wird jedoch nicht lange dauern, bis dieses oder andere ähnliche Tools von verschiedenen Unternehmen entwickelt werden.
Generative künstliche Intelligenz wird auch im Fernsehen und Kino Einzug halten. Wünschen Sie weitere Beispiele? Hier ist die gesamte Präsentation.