Nvidia hat einen erstaunlichen neuen Algorithmus für künstliche Intelligenz demonstriert, der einige Fotos automatisch in eine realistische 3D-Szene umwandeln kann.
Der Algorithmus, der auf einem neuronalen Deep-Learning-Netzwerk basiert, konnte aus nur 3 Aufnahmen eine 12D-Szene erstellen und in Sekundenschnelle rendern. Die Ergebnisse sind noch lange nicht perfekt, aber verblüffend: und versprechen zukünftige Anwendungen in Bereichen wie Videobearbeitung und Rendern von Gesichtern, Personen oder Landschaften.
Nvidia hat ein Video veröffentlicht, das den Algorithmus in Aktion demonstriert – sehen Sie es sich selbst an.
Instant NERF, Nvidias 3D-„Magie“
Das von Nvidia entwickelte Tool ist als Instant NERF bekannt, abgeleitet von „Neural Radiance Fields“, einer Technik von Google Research und der UC San Diego University of California, die 2020 eingeführt wurde.
Wenn Sie wirklich mehr wissen wollen schau mal hier (Englischer Text). Wenn Sie andererseits mit dem, was ich verstehe, zufrieden sind: Im Wesentlichen koppelt die Technik die Farb- und Lichtintensitätsdaten einiger 2D-Bilder, um eine 3D-Szene zu erzeugen. Und tatsächlich benötigt das System neben Fotos auch Informationen über die Position der Kamera.
Forscher arbeiten seit einigen Jahren daran, diese Art von Modell von 2D auf 3D zu verbessern, wodurch die Renderings komplexer werden und gleichzeitig der Zeitrahmen verkürzt wird. Tatsächlich behauptet Nvidia, dass seine neue Rendering-Methode mit Instant NeRF vielleicht die schnellste ist, die jemals entwickelt wurde: Der Vorgang dauert nur wenige Minuten und ist praktisch sofort abgeschlossen.
Mögliche Einsatzgebiete
Da die Technik schneller und einfacher zu implementieren ist, könnte sie für alle Arten von Unternehmen verwendet werden, sagt Nvidia in einem Blogbeitrag. die Arbeit beschreiben.
Instant NeRF kann verwendet werden, um Avatare oder Umgebungen für virtuelle Welten zu generieren, Videokonferenzteilnehmer und ihre Umgebung in 3D zu erfassen oder Einstellungen für digitale 3D-Karten nachzubilden Isha Saljan von Nvidia.
Die Technologie kann verwendet werden, um Robotern und selbstfahrenden Autos beizubringen, wie sie die Größe und Form von realen Objekten erkennen können, indem sie 2D-Fotos oder -Filme davon aufnehmen. Es wird auch in der Architektur und Unterhaltung sehr nützlich sein. Er wird Startups helfen (auch italienische, wie dieser), um schneller digitale Darstellungen realer Umgebungen zu erstellen, die Entwickler im Handumdrehen ändern und entwickeln können.
