Ein Computerlabor, das an der Vereinfachung der Mensch-Computer-Interaktion für Menschen aller Fähigkeiten arbeitet, hat einen digitalen Lippenleser mit einem eigenen maschinellen Lernsystem entwickelt, um dem Benutzer ein besseres Verständnis zu ermöglichen.
LipType ist eine Erfindung von Professor Ahmed Sabbir Arif und sein Labor. Kurzum: Lesen Sie die Lippenbewegung. Es liest es so gut, dass es Menschen ermöglicht, Textnachrichten oder E-Mails auf PCs und Smartphones zu senden und kontaktlos mit öffentlichen Geräten wie Geldautomaten oder anderen Kiosken zu interagieren. ohne laut zu sprechen.
Es gibt andere Lippenlesegeräte, die jedoch nicht weit verbreitet sind, da sie langsam und häufig fehlerhaft sind.
Ein Sprung nach vorne
Es gibt viele Fehler im Diktat, besonders an lauten Orten. Menschen mit Sprachproblemen haben auch Probleme, sich verständlich zu machen, vielleicht wegen des Akzents. LipType funktioniert für jeden. Personen müssen möglicherweise eine private Nachricht senden, während sie sich im öffentlichen Raum oder in einer Besprechung befinden. Mit LipType können sie einfach mit den Lippen wackeln, ohne ein Geräusch zu machen.
Arif seine Schüler haben verschiedene Filter mit unterschiedlichen Algorithmen hinzugefügt künstliche Intelligenz um das Ablesen der Lippen bei unterschiedlichen Lichtverhältnissen zu ermöglichen. Anschließend führten sie eine Fehlerkorrektur ein, die auf verschiedenen Sprachmodellen basierte, und stellten fest, dass LipType erheblich schneller war als andere vorhandene Geräte.
Der Lippenlesetest
Begleitend zum Softwaretest führte das Labor von Arif eine Sozialstudie durch, um festzustellen, ob Menschen eine solche Technologie verwenden würden. Sie kontaktierten Studenten und Menschen aus der Gemeinde, einschließlich Menschen mit Behinderungen, und führten eine Online-Umfrage durch. Die Reaktionen waren begeistert.
Hervorragend waren auch die Ergebnisse der Softwaretests. "LipType lief 58% schneller als andere Modelle", sagt der Forscher Laxmi Pandey. „Das Gerät hat sich in verschiedenen realen Kontexten mit wenig Licht und Rauschen als führend erwiesen. Der Erfolg von LipType lässt mich glauben, dass es unsere Interaktion untereinander und mit IT-Geräten revolutionieren kann. “
Die Sozialstudie und die LipType-Lippenleserstudie wurden zur Veröffentlichung und Präsentation auf der führenden internationalen Konferenz über Mensch-Computer-Interaktion angenommen.
Die möglichen Anwendungen des LipType Lippenlesers
Es gibt mehrere mögliche Anwendungen für dieses Lippenlesesystem. Offensichtlich kann LipType Menschen mit Behinderungen digitalen Werkzeugen sehr nahe bringen. In vielen Fällen kann es für Strafverfolgungsbehörden nützlich sein, zu verstehen, was in Szenarien geschieht, in denen sie nicht durch Zuhören zugreifen können. Auto-Interfaces können ebenfalls nützlich sein, sodass Sie Nachrichten schreiben können, während Sie Musik hören. Für alles gibt es eine Designphilosophie: Die Grenze liegt in der Vorstellungskraft.
