Es scheint eine Zukunft zu geben, in der Gedanken nicht länger nur vergängliche Bilder in unserem Kopf sind, sondern zu erstklassigen Videos werden können. Und es sieht nach einer Zukunft aus, die der Realität immer näher kommt. Eine Gruppe erfahrener Forscher hat gerade die Büchse der Pandora auf dem Gebiet der Neurowissenschaften geöffnet. Um ihm zu helfen, eine gute Portion KI.
Das „Projektor“-Gehirn
Jiaxin Qing, Zijiao Chen e Juan Helen Zhou, von der National University of Singapore und der Chinese University of Hong Kong, präsentierte eine recht interessante Forschungsarbeit. Das Team kombinierte Daten der funktionellen Magnetresonanztomographie (fMRT) mit generativer KI mit stabiler Diffusion, um zu erstellen MinD-Video, ein Modell, das HQ-Videos direkt aus Gehirnmessungen generieren kann.
Science-Fiction-Zeug könnte man sagen: aber nein, alles rigoros dokumentiert auf arXiv, z.B Das ist der Link.
Wie genau funktioniert MinD-Video?
MinD-Video ist kein einfacher Videogenerator, sondern ein ganzes System, das die Dekodierung von Bildern ermöglicht, die von einer KI erstellt wurden, und solchen, die von einem Gehirndialog erstellt wurden. Doch wie trainiert man ein solches System?
Die Forscher verwendeten einen öffentlichen Datensatz, der Videos und zugehörige fMRT-Messwerte von Probanden enthielt, die sie sahen. Und offenbar hat die Arbeit hervorragend geklappt.
Siehe Gedanken, wir haben es geschafft
Die von den Wissenschaftlern veröffentlichten Videos zeigen wirklich faszinierende Ergebnisse. Nehmen Sie zum Beispiel ein Originalvideo mit Pferden auf einem Feld. MinD-Video hat es zu einer lebendigeren Version der Pferde „umgebaut“. In einem anderen Fall fährt ein Auto durch ein Waldgebiet und das rekonstruierte Video zeigt eine Fahrt aus der Ich-Perspektive entlang einer kurvenreichen Straße.
Den Forschern zufolge sind die rekonstruierten Videos von „hoher Qualität“ und weisen eine klar definierte Bewegungs- und Szenendynamik auf. Und die Genauigkeit? 85 %, eine deutliche Verbesserung gegenüber dem bisherige Versuche.
Gedankenlesen und HQ-Video, was kommt als nächstes?
„Die Zukunft ist rosig und die potenziellen Anwendungen sind immens. Von der Neurowissenschaft bis hin zu …“ Gehirn-Computer-Schnittstellen„Wir glauben, dass unsere Arbeit einen wichtigen Einfluss haben wird“, sagten die Autoren. Und die Ergebnisse gehen darüber hinaus: Ihre Arbeit hat die dominierende Rolle des visuellen Kortex bei der visuellen Wahrnehmung hervorgehoben und die Fähigkeit ihres Modells, Informationen immer ausgefeilter zu lernen während dem Training.
Das in dieser neuen Forschung verwendete Modell der stabilen Diffusion macht die Visualisierung präziser. „Ein entscheidender Vorteil unseres Modells gegenüber anderen generativen Modellen wie le GANist die Fähigkeit, Videos in höherer Qualität zu produzieren. Es nutzt die vom fMRI-Encoder gelernten Darstellungen und nutzt seinen einzigartigen Diffusionsprozess, um HQ-Videos zu generieren, die besser mit den ursprünglichen neuronalen Aktivitäten übereinstimmen“, erklärten die Forscher.
Kurz gesagt, es scheint, dass wir wirklich in die Ära eingetreten sind Gedankenlesen durch künstliche Intelligenz. Ein Feld, das tausend Möglichkeiten bietet und dessen Grenzen nur die Vorstellungskraft zu sein scheint.
