Ein Computerlabor, das an der Vereinfachung der Mensch-Computer-Interaktion für Menschen aller Fähigkeiten arbeitet, hat einen digitalen Lippenleser mit einem eigenen maschinellen Lernsystem entwickelt, um dem Benutzer zu helfen, besser zu verstehen.
Lippentyp ist eine Erfindung von Professor Ahmed Sabbir Arif und sein Labor. Kurzum: Lesen Sie die Lippenbewegung. Es liest es so gut, dass es Menschen ermöglicht, Textnachrichten oder E-Mails auf PCs und Smartphones zu senden und kontaktlos mit öffentlichen Geräten wie Geldautomaten oder anderen Kiosken zu interagieren. ohne laut zu sprechen.
Es gibt andere Lippenlesegeräte, die jedoch nicht weit verbreitet sind, da sie langsam und häufig fehlerhaft sind.
Ein Sprung nach vorne
Beim Diktieren passieren viele Fehler, besonders an lauten Orten. Auch Menschen mit Sprachproblemen haben Verständigungsschwierigkeiten, vielleicht wegen des Akzents. LipType funktioniert für jeden. Personen müssen möglicherweise eine private Nachricht senden, während sie sich im öffentlichen Raum oder in einer Besprechung befinden. Mit LipType können sie einfach mit den Lippen wackeln, ohne ein Geräusch zu machen.
Arif seine Schüler haben verschiedene Filter mit unterschiedlichen Algorithmen hinzugefügt künstliche Intelligenz um das Ablesen der Lippen bei unterschiedlichen Lichtverhältnissen zu ermöglichen. Anschließend führten sie eine Fehlerkorrektur ein, die auf verschiedenen Sprachmodellen basierte, und stellten fest, dass LipType erheblich schneller war als andere vorhandene Geräte.
Der Lippenlesetest
Begleitend zum Softwaretest führte das Labor von Arif eine Sozialstudie durch, um festzustellen, ob Menschen eine solche Technologie verwenden würden. Sie kontaktierten Studenten und Menschen aus der Gemeinde, einschließlich Menschen mit Behinderungen, und führten eine Online-Umfrage durch. Die Reaktionen waren begeistert.
Auch die Ergebnisse der Softwaretests waren hervorragend. „LipType war 58 % schneller als andere Modelle“, sagt der Forscher Laxmi Pandey. „Das Gerät hat sich in verschiedenen Umgebungen der realen Welt mit wenig Licht und Rauschen als bahnbrechend erwiesen. Der Erfolg von LipType lässt mich glauben, dass es unsere Interaktion miteinander und mit Computergeräten revolutionieren kann.“
Die Sozialstudie und die LipType-Lippenlesestudie wurden zur Veröffentlichung und Präsentation auf der führenden internationalen Konferenz zur Mensch-Computer-Interaktion angenommen.
Die möglichen Anwendungen des LipType Lippenlesers
Es gibt mehrere mögliche Anwendungen für dieses Lippenlesesystem. Offensichtlich kann LipType Menschen mit Behinderungen sehr nahe an digitale Werkzeuge bringen. In vielen Fällen könnte es für Strafverfolgungsbehörden nützlich sein, zu verstehen, was in Szenarien passiert, in denen sie nicht durch Abhören zugreifen können. Autoschnittstellen können ebenfalls nützlich sein, damit Sie Nachrichten schreiben können, während Sie Musik hören. Für alles gibt es eine Designphilosophie: Die Grenze ist die Vorstellungskraft.
