Forscher der Duke University haben ein KI-Tool entwickelt, das verschwommene, nicht erkennbare Bilder von Gesichtern von Menschen in überzeugende computergenerierte Porträts mit feineren Details als je zuvor umwandeln kann.
Methoden vor Pulse GAN könnten ein pixeliges Bild bis zum Achtfachen seiner ursprünglichen Auflösung detaillieren. Aber Dukes Team hat eine Möglichkeit gefunden, eine Handvoll Pixel aufzunehmen und realistisch aussehende Gesichter mit bis zu 64-facher Auflösung zu erstellen. Dabei wurden Funktionen wie feine Linien, Wimpern und Falten "vorgestellt", die nicht im ersten Bild enthalten waren. .
Es wurden noch nie Bilder mit dieser Auflösung erstellt
Cynthia Rudin, Informatiker, Duke University
Es ist kein Identikit
Das Pulse GAN-System kann nicht zur Identifizierung von Personen verwendet werden, sagen die Forscher: Ein verschwommenes und nicht erkennbares Foto von einer Überwachungskamera wird nicht in ein kristallklares Bild einer realen Person verwandelt. Es ist vielmehr in der Lage, neue Gesichter zu erzeugen, die nicht existieren, aber plausibel real erscheinen.
Dieselbe Technik könnte theoretisch Fotos von fast allem mit niedriger Auflösung aufnehmen und scharfe, lebensechte Bilder erstellen, mit Anwendungen, die von Medizin und Mikroskopie bis hin zu Astronomie und Satellitenbildern reichen, sagte der Co-Autor. Sachit Menon, doppelte Spezialisierung in Mathematik und Informatik.
Die Forscher werden ihre Methode vorstellen, genannt IMPULS GAN, von morgen bis zum 19. Juni auf der CVPR-Konferenz (Computer Vision and Pattern Recognition) 2020.
Herkömmliche Ansätze beginnen damit, ein Bild mit niedriger Auflösung mit verschwommenen Pixeln aufzunehmen und zu "erraten", welche zusätzlichen Pixel benötigt werden, indem versucht wird, sie im Durchschnitt mit den entsprechenden Pixeln in hochauflösenden Bildern abzugleichen, die der Computer zuvor gesehen hat. Infolge dieser Mittelung können strukturierte Bereiche in Haar und Haut, die möglicherweise nicht perfekt von Pixel zu Pixel ausgerichtet sind, verschwommen und undeutlich erscheinen.
Das Duke-Team hat einen anderen Ansatz gewählt
Anstatt ein Bild mit niedriger Auflösung aufzunehmen und langsam neue Details hinzuzufügen, sucht das System nach Beispielen für AI-generierte hochauflösende Gesichter (Jetzt werde ich sehr gut darin) und suchen nach solchen, die dem Eingabebild so ähnlich wie möglich aussehen, wenn sie auf dieselbe Größe reduziert werden.
Das Team verwendete ein maschinelles Lernwerkzeug namens GAN oder "gegnerisches generatives Netzwerk". Ich habe gründlicher darüber gesprochen in diesem Artikel und andere auf dieser Seite. GANs sind neuronale Netze, die auf demselben Fotodatensatz trainiert werden. Ein Netzwerk enthält menschliche Gesichter, die durch künstliche Intelligenz erstellt wurden und die Gesichter nachahmen, auf denen es trainiert wurde, während das andere dieses Ergebnis aufnimmt und entscheidet, ob es zwingend genug ist, um mit einem echten Foto verwechselt zu werden. Das erste Netzwerk wird mit der Erfahrung immer besser, bis das zweite nicht mehr unterscheidet. Mit anderen Worten, sie konkurrieren miteinander und verbessern sich durch den Wettbewerb.
PULSE ist in der Lage, realistisch aussehende Bilder aus verrauschten und qualitativ schlechten Eingaben zu erstellen. Aus einem einzelnen verschwommenen Bild eines Gesichts kann eine unbegrenzte Anzahl realistischer Möglichkeiten hervorgehen, von denen jede auf subtile Weise anders aussieht.
Selbst bei pixeligen Fotos, bei denen Augen und Mund kaum erkennbar sind, „tut unser Algorithmus etwas dagegen. Etwas, das traditionelle Ansätze nicht können. “ Wort des Mitautors Alex Damjan, Mathematiker bei Duke.
Pulse GAN, die "Fantasie" an der Macht
Das System kann ein verschwommenes Pixelbild oder ein 16 × 16-Pixel-Bild in Sekunden in ein 1024 × 1024-Pixel-Bild konvertieren und dabei mehr als eine Million Pixel hinzufügen, ähnlich wie bei der HD-Auflösung. Details wie Poren, Falten und Haarsträhnen, die auf Fotos mit niedriger Auflösung nicht wahrnehmbar sind, werden in computergenerierten Versionen klar und deutlich.
Die Forscher baten 40 Personen, 1.440 Bilder zu bewerten, die mit PULSE GAN und fünf weiteren Skalierungsmethoden erstellt wurden. Ihr Urteil? Eine Zahl auf einer Skala von eins bis fünf. und Pulse GAN hat das Beste von allem getan. Was mehr ist, erzielte er fast gleichwertig mit hochwertigen Fotos von echten Menschen.
Überzeugen Sie sich selbst von den Ergebnissen https://pulse.cs.duke.edu/.
