Projekte

Das Auto lernt hören

© Foto: Fraunhofer IDMT / Hannes Kalter.
Das Auto lernt hören! Warnung des Fahrers vor herannahenden Einsatzfahrzeugen durch akustische Ereigniserkennung in einem möglichen Einsatzkontext.

Moderne Fahrzeuge verfügen über zahlreiche Fahrerassistenzsysteme, die den Autofahrer entlasten, ihm etwa beim Einparken helfen oder den toten Winkel überwachen. Kamera, Lidar und Radar erfassen die relevanten Objekte in der Umgebung, sie fungieren quasi als Augen. Was den Automobilen bislang noch fehlt, ist der Hörsinn, sprich Systeme, die in der Lage sind, Außengeräusche wahrzunehmen und einzuordnen. Sie werden künftig im Zusammenspiel mit intelligenter Radar- und Kamerasensorik die Grundlage für das autonome Fahren bilden. Um »Das hörende Auto« zu realisieren, entwickeln Forscherinnen und Forscher am Fraunhofer IDMT in Oldenburg KI-basierte Technologien zur akustischen Ereigniserkennung.

Ein Ohr fürs Martinshorn 

Für autonome Fahrzeuge existieren externe akustische Wahrnehmungssysteme bisher nicht - trotz Ihres hohen Anwendungspotenzials. Sie signalisieren beispielsweise im Bruchteil einer Sekunde, wenn ein Fahrzeug mit eingeschaltetem Martinshorn naht. So weiß das autonome Fahrzeug, dass es ausweichen muss, damit eine Rettungsgasse gebildet werden kann.

Neben der Sirenenerkennung gibt es zahlreiche weitere Szenarien, in denen ein akustisches Frühwarnsystem unerlässlich ist: Beim Einbiegen in belebte Spielstraßen, zum Erkennen weiterer gefährlicher Situationen oder auch von Fehlern – etwa dann, wenn ein Nagel im Reifen steckt. Darüber hinaus kann das System die Zustandsüberwachung des Fahrzeugs übernehmen und per Spracherkennung als Notrufsäule fungieren.

Die Fahrbahn hören

Ein weiteres Anwendungsfeld ist die dynamische Anpassung von Fahrwerkskomponenten auf Basis von akustischen Echtzeitdaten der Fahrbahn. So sind alle Fahrwerkseinstellungen stets optimal an die Fahrbahnbeschaffenheit angepasst, um ein sportliches Fahrgefühl bei größtmöglicher Sicherheit zu gewährleisten. Mit Hilfe unterschiedlicher akustischer Sensoren wird kontinuierlich gemessen, ob die Fahrbahn nass oder trocken ist und ob das Fahrzeug auf Asphalt, Schotter oder Kopfsteinpflaster fährt. Dadurch kann das Beschleunigungs- und Bremsvermögen bestmöglich auf die Straße gebracht werden. Auch wechselnde Verkehrssituationen können unter anderem mit Hilfe der akustischen Sensoren an das adaptive Fahrwerk übermittelt werden. Im Ernstfall erkennt das System eine bevorstehende Kollision rechtzeitig.  Die Bremskraftverteilung und Stoßdämpfer-Einstellung sind optimal eingestellt für ein Ausweichmanöver mit Vollbremsung, das auf glatter Fahrbahn über Leben und Tod entscheiden kann.

KI-basierte Algorithmen analysieren die Geräusche

Um »Das hörende Auto« zu verwirklichen, bringen die Entwicklerinnen und Entwickler am Fraunhofer IDMT in Oldenburg spezielle Projekterfahrungen im Bereich Automotive sowie gruppenübergreifende Kompetenzen mit. Zu den Herausforderungen zählen die optimale Signalaufnahme durch Sensorpositionierung, die Signalvorverarbeitung und -verbesserung sowie die Störgeräuschbefreiung. Eigene Beamforming-Algorithmen ermöglichen die dynamische Lokalisation von sich bewegenden Schallquellen, wie beispielsweise das Martinshorn an einem Einsatzfahrzeug. »Die Erkenner des Fraunhofer IDMT wurden zuvor über Machine-Learning-Verfahren mit den akustischen Signaturen der relevanten Töne trainiert«, so Danilo Hollosi, Gruppenleiter Akustische Ereignisdetektion am Oldenburger Institutsteil. Hierfür wurden eigens akustische Bibliotheken mit zuvor erhobenen Geräuschen angelegt. So entstehen intelligente Sensorplattformen mit effektiver Erkennerleistung. Eigens entwickelte KI-basierte Algorithmen zur Audioanalyse ermitteln die Stör- und Zielgeräusche. Gemeinsam mit Industriepartnern wurden bereits erste Prototypen realisiert.

Die akustische Sensorik der IDMT-Forscherinnen und -Forscher setzt sich aus eingehausten Mikrofonen, Steuergerät und Software zusammen. Außen am Fahrzeug angebracht nehmen die Mikrofone den Luftschall auf. Die Sensoren leiten die Audiodaten an ein spezielles Steuergerät weiter, wo sie dann zu relevanten Metadaten weiterverarbeitet werden. In vielen Anwendungsfällen, zum Beispiel beim akustischen Monitoring in der Produktion, im Sicherheitsbereich, in der Pflege oder innerhalb von Consumer-Produkten, verwerten smarte Sensoren die Audiodaten direkt und geben nur Metadaten weiter. So erfolgt ein Großteil der Datenverarbeitung direkt auf dem Sensor. Die Lösung kann daher auch bei höchsten Datenschutzanforderungen eingesetzt werden.