Die Forscher des Carnegie Mellon University (CMU) haben ein Kamerasystem entwickelt, das Schallschwingungen mit einer Präzision erkennen kann, die es Ihnen ermöglicht, Audio ohne Rückschlüsse oder ein Mikrofon nachzubilden. Das Unternehmen? Arbeit des Teams von Institut für Robotik (RI) der CMU School of Computer Science für den Bau des Systems, bestehend aus zwei Kameras und einem Laser.
Das Kamerasystem kann "Hochgeschwindigkeits-Oberflächenvibrationen mit geringer Amplitude" erkennen, die das menschliche Auge nicht sehen kann, sagte die Universität. eine Pressemitteilung.
Low-Cost-Kameras, sehr hohe Leistung
Das System ist mit normalen Kameras anstelle der in früheren Forschungen verwendeten Hochgeschwindigkeitskameras ausgestattet, was zu einer erheblichen Kostenreduzierung führen wird. „Wir haben das optische Mikrofon viel praktischer und benutzerfreundlicher gemacht“, sagte er Srinivasa Narasimhan, Professor für Robotik und Leiter des Licht- und Bildgebungslabors. "Wir haben die Qualität verbessert und gleichzeitig die Kosten gesenkt."
Ein Algorithmus vergleicht die Muster von Spots, die von einem Rollverschluss und einem Global Shutter erfasst werden. Verwenden Sie die Unterschiede zwischen den Modellen, um Vibrationen zu berechnen und das Audio neu zu erstellen. Ein gesprenkeltes Muster (das in diesem Fall vom Laser erzeugt wird) bezieht sich auf das Verhalten von kohärentem Licht im Raum, nachdem es von einer rauen Oberfläche reflektiert wurde. Dieses Verhalten ändert sich, wenn die Oberfläche vibriert. Der Rollverschluss scannt ein Bild schnell von einem Ende zum anderen, während ein Rollverschluss gleichzeitig ein ganzes Bild erfasst.
"Dieses System erweitert die Grenzen dessen, was mit Computer Vision möglich ist", Assistenzprofessor Matthew O'Toole, Co-Autor von ein Dokument auf dem System, sagte er. "Dies ist ein neuer Mechanismus zur Erfassung von schnellen, winzigen Vibrationen und stellt ein neues Forschungsgebiet dar."
Isolieren Sie die verschiedenen Geräusche mit einem normalen Videodreh
Die Forscher sagten, sie seien in der Lage gewesen, den Klang der gleichzeitig gespielten Gitarren zu isolieren. Sie behaupten, das System sei in der Lage gewesen, eine Tüte Chips einzurahmen und nur ihre Vibrationen zu verwenden, um ihren Klang zu rekonstruieren. Der Ton wurde von einem Lautsprecher mit einer nie zuvor erreichten Wiedergabetreue übertragen.
Es gibt viele potenzielle Anwendungen für diese Technologie. Die Forscher schlagen zum Beispiel vor, dass das System Vibrationen von Maschinen in einer Fabrik überwachen könnte, um nach Anzeichen von Problemen zu suchen. Toningenieure können auch den Klang von einem Instrument isolieren, um die Mischung zu verbessern. Im Wesentlichen könnte es dazu beitragen, Umgebungsgeräusche aus Audioaufnahmen zu eliminieren.
