Zum ersten Mal hat ein internationales Team aus Ingenieuren und Informatikern eine Technologie entwickelt, die Radiofrequenzerkennung mit künstlicher Intelligenz kombiniert, um Lippen zu lesen und ihre Bewegungen zu identifizieren.
Die heutigen Hörgeräte helfen Menschen mit Hörverlust, indem sie alle Umgebungsgeräusche verstärken, was für mehrere Anwendungen nützlich ist. In lauten Umgebungen kann das breite Verstärkungsspektrum dieser Geräte es Benutzern jedoch schwer machen, sich auf bestimmte Geräusche zu konzentrieren. Zum Beispiel ein Gespräch mit einer bestimmten Person.
Eine mögliche Lösung für dieses Problem, das als „Cocktailparty-Effekt“ bekannt ist, besteht darin, „intelligente“ Hörgeräte herzustellen. Neue Geräte, die herkömmliche Audioverstärkung mit einem zweiten Gerät kombinieren, das zusätzliche Daten für eine bessere Leistung sammelt.
Ausgabe der Singularität des Lippenlesens
In einem neuen Artikel, der heute im Magazin veröffentlicht wurde Nature Communications veröffentlicht (Ich verlinke es hier) zeigt das von der University of Glasgow geleitete Team den Einsatz modernster Sensortechnologie zum Lesen von Lippen. Ihr System schützt die Privatsphäre, indem es nur Hochfrequenzdaten sammelt, ohne Videos auszunutzen (und daher ohne Datenschutzprobleme, zumindest bei Bildern).
Um das System zu entwickeln, baten die Forscher männliche und weibliche Freiwillige, die fünf Vokale (A, E, I, O und U) zuerst ohne Maske und dann mit einer chirurgischen Maske zu wiederholen. Ihre Gesichter wurden sowohl mit geschlossenem Mund als auch während der Aussprache gescannt, wobei Hochfrequenzsignale von einem speziellen Radarsensor und einem WLAN-Sender verwendet wurden.
Die 3.600 mit den Scans gesammelten Datenproben wurden verwendet, um maschinelles Lernen und Deep-Learning-Algorithmen zu „trainieren“, um charakteristische Mundbewegungen zu erkennen und Lippen zu lesen, wobei jede Bewegung mit einem Geräusch verknüpft wird.
Das Ergebnis?
Das System zeigte eine Genauigkeitsrate 95 % für nicht maskierte Lippen und 83 % für maskierte Lippen. Beeindruckend.
Der Arzt Qammer Abbasi von der University of Glasgow, dem Hauptautor des Dokuments, veranschaulicht die geleistete Arbeit. „Etwa 5 % der Weltbevölkerung, 430 Millionen Menschen, haben eine Form von schwerhörig. Hörgeräte haben für viele von ihnen einen Unterschied gemacht. Neue Technologien, die Daten sammeln, um die Schallverstärkung zu verbessern, könnten einen entscheidenden Schritt machen.“
Zusammenfassend: Diese Forschung zeigt, dass Hochfrequenzsignale und sogar Wi-Fi-Signale es Ihnen ermöglichen können, Lippen zu lesen, selbst wenn Sie von einer Maske bedeckt sind. Ich überlasse es jedermanns Fantasie, über die „negativen“ Verwendungen dieser Technologie nachzudenken, und konzentriere mich nur auf die positiven Aspekte.
Zukünftige multimodale Hörgeräte werden jeden Unterschied zwischen Menschen abbauen und diese 5 % der hörgeschädigten Weltbevölkerung auf die gleiche "Wellenlänge" bringen (sollte gesagt werden) wie alle anderen.