Ein Forscherteam der University of California und der beiden Abteilungen Facebook Reality Labs und AI Research hat ein neuronales Netzwerk entwickelt, mit dem 3D-Bilder und 3D-Figuren aus 2D-Bildern erstellt werden können.
Pifu HD, das steht für Pixelausgerichtete implizite Funktion HDwurde geschult, um 3D-Bilder und -Videos, die gekleidete Personen reproduzieren, in 2D umzuwandeln.
Zusätzlich zu Gesichtsmerkmalen wie Mund und Nase kann das System Falten und die Textur von Kleidung genau in ein entsprechendes 3D-Modell umwandeln. Weibliche fotografische Posen sind beredt, und männliche Posen scherzen auch nicht.
Pifu HD ist eine verbesserte Version des vorherigen AI Pifu, das im letzten Jahr eingeführt wurde. Mit mehr Pixelinformationen können kleinere Details wie Falten und Fingerpositionen auf ein 3D-Modell übertragen werden. Der Wissenschaftler Shunsuke Saito präsentierte die neue Arbeit in zwei Videos. Da ist auch ein wissenschaftliches Dokument mit detaillierten Informationen.
Das Training von Pifu HD
Künstliche Intelligenz ist darauf trainiert, 3D-Bilder mit 2D-Bildern zu erstellen, die als Orientierungspunkte dienen. Im speziellen Fall wurde eine Reihe von Modebildern verwendet, die männliche und weibliche Fotomodelle in verschiedenen Posen und mit verschiedenen Kleidungsstücken enthalten.
Ähnlich wie bei der medizinischen MRT ergibt jede gescannte Tiefenebene eine dreidimensionale Figur. Ein Bildcodierer berechnet die jeweilige 3D-Koordinate für jedes 2D-Pixel und schätzt, ob es sich innerhalb oder außerhalb des Querschnitts des untersuchten Bildes befindet. Und von Bild zu 3D ist der Schritt zu diesem Zeitpunkt kurz.
Pifu HD codiert parallele Bilder mit reduzierter Auflösung und verwendet die Informationen, um ein eigenes 3D-Modell zu erstellen.
Die Video-Demo funktioniert ganz gut. Daher kann Pifu aus Modellbildern eine menschliche 3D-Figur erzeugen. Außerdem ein viel detaillierteres 3D-Modell aus verschiedenen Bildern derselben Zielperson mit unterschiedlichen Blickwinkeln.
Wir brauchen noch etwas Zeit
Pifu ist noch nicht vollständig entwickelt und nicht effizient genug, um mit seinen 3D-Modellen produktiv eingesetzt zu werden. Die Geschwindigkeit beim Erstellen und Lernen dieser Software ist jedoch erstaunlich.
