Bioingenieure an der University of California in Los Angeles haben ein handschuhähnliches Gerät entwickelt, mit dem Gebärdensprache in Echtzeit in hörbare Wörter übersetzt werden kann. Forschung wurde in der Zeitschrift Nature Electronics veröffentlicht.
Juni Chen, Assistenzprofessor für Bioingenieurwesen an der UCLA Samueli School of Engineering, ist der Hauptautor der Forschung. "Wir hoffen, dass diese Technologie ein einfaches Werkzeug wird, um Gebärdensprache zu übersetzen und direkt mit denen zu kommunizieren, die sie nicht kennen, ohne dass ein Vermittler erforderlich ist", sagte er. "Wir hoffen auch, dass dadurch mehr Menschen die Gebärdensprache selbst lernen können."
Wie Übersetzungshandschuhe hergestellt werden
Das System besteht aus mehreren tragbaren Geräten. Dies sind Handschuhe mit dünnen und dehnbaren Sensoren, die sich über die Länge jedes der fünf Finger erstrecken. Diese mit elektrisch leitenden Garnen hergestellten Sensoren erfassen Handbewegungen und Fingerpositionen, die einzelne Buchstaben, Zahlen, Wörter und Sätze anzeigen.
Das Gerät wandelt dann Fingerbewegungen in elektrische Signale um, die wie eine Münze an ein handgelenkgroßes Gerät gesendet werden. Die Karte überträgt diese Signale drahtlos an ein Smartphone, das die Gebärdensprache mit einer Geschwindigkeit von etwa einem Wort pro Sekunde in Wörter übersetzt.
Die Forscher fügten den Gesichtern der Tester (zwischen den Augenbrauen und den Seiten des Mundes) Klebstoffsensoren hinzu, um Gesichtsausdrücke zu erfassen, die Teil der Gebärdensprache sind.
Das Übersetzen der Gebärdensprache ist einfacher
Frühere tragbare Systeme, die Übersetzungen aus der Gebärdensprache boten, waren durch sperrige und schwere Geräte eingeschränkt oder unangenehm zu tragen, sagte Chen.
Das vom UCLA-Team entwickelte Gerät besteht aus leichten, kostengünstigen, aber langlebigen und dehnbaren Polymeren. Elektronische Sensoren sind auch sehr flexibel und billig.
Beim Testen des Geräts arbeiteten die Forscher mit vier Gehörlosen zusammen, die Gebärdensprache verwenden. Die Träger wiederholten jede Handbewegung 15 Mal. Ein benutzerdefinierter Algorithmus für maschinelles Lernen wandelte diese Gesten in die Buchstaben, Zahlen und Wörter um, die sie darstellten. Das System erkannte 660 Zeichen, einschließlich jedes Buchstabens des Alphabets und Zahlen von 0 bis 9.
Die Verbesserung dieser Technologie wird es ermöglichen, eine wichtige Barriere abzubauen. Durch die Miniaturisierung wird sichergestellt, dass eines Tages anstelle von Handschuhen einfache tragbare Ringe vorhanden sind, die die Gebärdensprache übersetzen können. Oder es öffnet sich für Virtual-Reality-Umgebungen, in denen ein unmittelbarer Dialog zwischen allen Menschen stattfindet, unabhängig von der Sprache (verbal) oder nonverbal) bekannt.
