KI- und maschinelle Lernalgorithmen können Aktionen in Videos immer besser vorhersagen.
Die besten aktuellen Algorithmen können ziemlich genau vorhersagen, wohin ein Baseball gehen wird, nachdem er geworfen wurde, oder wie eine Straße in der kommenden Sequenz erscheint. Mit anderen Worten? Frames in der Zukunft eines Films vorhersagen.
Ein neuer Ansatz, der von Forschern von Google, der University of Michigan und Adobe vorgeschlagen wurde, erweitert den Stand der Technik um groß angelegte Modelle, die aus wenigen Bildern qualitativ hochwertige Videos erzeugen.
„Mit diesem Projekt wollen wir genaue Videovorhersagen erhalten. Wir werden die Fähigkeiten eines neuronalen Netzwerks optimieren ", Die Forscher schrieben in ein Dokument das beschreibt ihre Arbeit.
Das Teammodell
Das Kernmodell des Teams basiert auf einer stochastischen Videoerzeugungsarchitektur. mit einer Komponente, die die Vorhersagen der Frames nach den betrachteten verwaltet.
Das Team trainierte und testete verschiedene Versionen des Modells getrennt von benutzerdefinierten Datensätzen basierend auf drei Prognosekategorien: Interaktionen zwischen Objekten, strukturierte Bewegung und teilweise Beobachtbarkeit.
Für die erste Aufgabe (Interaktionen mit Objekten) Die Forscher wählten 256 Clips aus einem Videoblock aus, der einen Roboterarm bei der Interaktion mit Handtüchern zeigt.
Zum zweiten (strukturierte Bewegung) Sie bearbeiteten Clips aus Human 3.6M, einem Block mit Clips von Menschen, die Aktionen wie das Sitzen auf einem Stuhl ausführen.
Wie für den dritten (teilweise Beobachtbarkeitsaktivität), verwendete einen Open-Source-KITTI-Fahrdatensatz, der aus Filmmaterial von Kameras auf Auto-Armaturenbrettern zusammengestellt wurde.
Nach diesem "Training" erzeugte das KI-Modell in Zukunft bis zu 25 Frames.
Die Forscher berichten, dass "Vorhersagen" von den Bewertern in 90,2, 98,7% und 99,3% der Fälle den drei Arten von Videos vorgezogen wurden: Interaktionen zwischen Objekten, strukturierte Bewegung und teilweise Beobachtbarkeitsaufgaben. beziehungsweise.
Qualitativ stellt das Team fest, dass die KI menschliche Arme und Beine sauber darstellt und fertig ist "Sehr genaue Vorhersagen, die im Vergleich zu den im Video dargestellten Szenen realistisch erschienen" .
"Wir haben festgestellt, dass die Maximierung der Kapazität solcher Modelle die Qualität der Videovorhersage verbessert." Mitautoren schreiben. Wir hoffen, dass unsere Arbeit das Feld ermutigen wird, sich in Zukunft in ähnliche Richtungen zu bewegen. Zum Beispiel, um zu sehen, wie weit wir gehen können. “
