Ein Forscherteam der University of California und der beiden Abteilungen Facebook Reality Labs und AI Research hat ein neuronales Netzwerk entwickelt, das in der Lage ist, 3D-Bilder und 3D-Figuren aus 2D-Bildern zu erstellen.
Pifu HD, das steht für Pixelausgerichtete implizite Funktion HDwurde geschult, um 3D-Bilder und -Videos, die gekleidete Personen reproduzieren, in 2D umzuwandeln.
Zusätzlich zu Gesichtsmerkmalen wie Mund und Nase kann das System Falten und die Textur von Kleidung genau in ein entsprechendes 3D-Modell umwandeln. Weibliche fotografische Posen sind beredt, und männliche Posen scherzen auch nicht.
Pifu HD ist eine verbesserte Version des vorherigen AI Pifu, das im letzten Jahr eingeführt wurde. Mit mehr Pixelinformationen können kleinere Details wie Falten und Fingerpositionen auf ein 3D-Modell übertragen werden. Der Wissenschaftler Shunsuke Saito stellte das neue Werk in zwei Videos vor. Da ist auch ein wissenschaftliches Dokument mit detaillierten Informationen.
Das Training von Pifu HD
Künstliche Intelligenz ist darauf trainiert, 3D-Bilder mit 2D-Bildern zu erstellen, die als Orientierungspunkte dienen. Im speziellen Fall wurde eine Reihe von Modebildern verwendet, die männliche und weibliche Fotomodelle in verschiedenen Posen und mit verschiedenen Kleidungsstücken enthalten.
Ähnlich wie bei der medizinischen MRT führt jede gescannte Tiefenebene zu einer dreidimensionalen Figur. Ein Bildencoder berechnet für jedes 3D-Pixel die jeweilige 2D-Koordinate und schätzt, ob es innerhalb oder außerhalb des Querschnitts des zu untersuchenden Bildes liegt. Und vom Bild zum 3D ist an dieser Stelle der Schritt kurz.
Pifu HD codiert parallele Bilder mit reduzierter Auflösung und verwendet die Informationen, um ein eigenes 3D-Modell zu erstellen.
Die Video-Demo funktioniert ganz gut. Daher kann Pifu aus Modellbildern eine menschliche 3D-Figur erzeugen. Außerdem ein viel detaillierteres 3D-Modell aus verschiedenen Bildern derselben Zielperson mit unterschiedlichen Blickwinkeln.
Wir brauchen noch etwas Zeit
Pifu ist noch nicht vollständig entwickelt und nicht effizient genug, um mit seinen 3D-Modellen produktiv eingesetzt zu werden. Die Geschwindigkeit beim Erstellen und Lernen dieser Software ist jedoch erstaunlich.
