Melexis: Aufmerksamkeitsüberwachung im Fahrzeug mit 3D-ToF-Sensoren

Da heutige Fahrzeuge immer intelligenter werden, wird die Überwachung des Fahrers zu einem erforderlichen Merkmal, um die Sicherheit zu verbessern und eine reibungslosere Interaktion mit autonomen Funktionen zu gewährleisten.

Die EU General Safety Regulation (GSR) schreibt die Überwachung von Schläfrigkeit und Ablenkung als neue Sicherheitsmerkmale für Neufahrzeuge in Europa ab 2022 vor. Auch die US-amerikanische SAFE-Vorschrift (Stay Aware for Everyone) aus dem Jahr 2020 fordert Maßnahmen zur Minimierung oder Beseitigung von Fahrerablenkung und -müdigkeit durch „Automatisierungsgefälligkeit“ und ADAS-Missbrauch.

Neben dem Schutz der Verkehrsteilnehmer sollen die neuen Systeme den Fahrern helfen, sich an die zunehmende Automatisierung zu gewöhnen, menschliche Fehler auszugleichen und neue Mobilitätsmodelle zu unterstützen.

Technologien zur Verfolgung des Kopfes und Blickverlaufs
Anzeichen dafür, dass ein Fahrer abgelenkt oder unkonzentriert ist, sind längere Zeiträume, in denen er von der Straße weg, zu beiden Seiten oder auf zentrale Bedienelemente oder ein Mobiltelefon blickt. Dies kann durch die Verfolgung der Kopfposition und des Blicks erkannt werden. Schläfrigkeit kann sich auch in ungewöhnlichen Kopfbewegungen, übermäßigem Blinzeln oder einer veränderten Körperhaltung äußern.

Fahrerüberwachungssysteme (DMS; Driver Monitoring Systems) können diese Anzeichen genau erkennen und den Fahrer warnen, damit er seine Aufmerksamkeit wieder auf die Straße lenkt oder eine Pause einlegt. Darüber hinaus kann das DMS die Bereitschaft des Fahrers bewerten, mit verschiedenen autonomen Fahrsystemen zu interagieren, z.B. zur Übernahme der Kontrolle nach einer Phase des autonomen Fahrens durch das Fahrzeug.

Mit einem entsprechend großen Sichtfeld kann das DMS auch zusätzliche Funktionen unterstützen, wie die gestenbasierte Steuerung von Fahrzeugmodi und Infotainment-Einstellungen sowie die Überwachung von Fahrgästen (OMS; Occupant Monitoring System), z.B. Kinder in Sicherheitssitzen.




2D-Kameras werden bereits häufig in bildverarbeitungsbasierten Automotive-Systemen wie ADAS und Surround-View eingesetzt. Infrarotlicht als Beleuchtungsquelle macht das System unabhängig von wechselnden Lichtverhältnissen, was eine gleichbleibende Leistungsfähigkeit bei hellem Sonnenlicht, bedecktem Himmel oder in der Nacht ermöglicht.

2D-Systeme sind jedoch nur begrenzt in der Lage, Variationen der Kopfhaltung zu erfassen und können daher nur eine kleine Anzahl von Kopfbewegungen erkennen. Hier ist 3D-Sensorik erforderlich. Unter den etablierten Techniken haben die strukturierte Beleuchtung und Stereokamera-Bildgebung erhebliche Nachteile als mögliche Lösungen für DMS.
Strukturierte Beleuchtung projiziert ein bekanntes Muster auf eine Szene und beobachtet Verzerrungen, um die Entfernung zu bestimmen. Geeignete Projektoren für hochauflösendes DMS sind jedoch sperrig und teuer, und zur Berechnung der Entfernungsdaten ist eine komplexe Bildverarbeitung erforderlich. Außerdem kann eine helle Umgebungsbeleuchtung die Leistungsfähigkeit beeinträchtigen.

Die Stereobildgebung mit zwei Kameras ermöglicht die Berechnung einer Tiefenkarte durch Korrelation der beiden Bilder. Obwohl mit kostengünstigen Sensoren hier eine gute Auflösung erzielt werden kann, müssen die Kameras genau zueinander positioniert werden, und die Lichtverhältnisse wirken sich erheblich auf die Leistungsfähigkeit aus. Außerdem sind die mit der Bildverarbeitung verbundenen Kosten und die Wärmeverluste hoch.

Eine Alternative ist die indirekte Laufzeitmessung (ToF; Time of Flight), bei der eine Szene mit moduliertem Licht beleuchtet und die Tiefeninformation durch Messung der Phasenverzögerung der reflektierten Signale bestimmt wird. Dies kann mit einem einzigen Sensor mit relativ niedriger Auflösung erreicht werden und ermöglicht robuste DMS-Leistungsfähigkeit auf kleinem Raum.

Tiefenerkennung mit ToF
Um Tiefeninformationen aus ToF-Messungen zu berechnen, wird eine mathematische Kreuzkorrelation auf das zurückkehrende modulierte Signal angewendet. Die Quadraturabtastung, bei der die Beleuchtungsphase in 90°-Schritten geändert wird, ergibt vier Kreuzkorrelationsterme, aus denen die Phase und Amplitude abgeleitet werden. Der Abstand wird aus der Phase gemäß der folgenden Formel berechnet:




Die bei der Messung jeder Phase akkumulierte Pixelladung wird abgetastet, um die Amplitude zu ermitteln. Die Phase und Amplitude für alle Pixel werden parallel berechnet, um das Tiefenbild zu erstellen.

In der Praxis verwendet ein ToF-Sensor eine aktive Lichtmodulation mit einer Frequenz im Bereich von 20 bis 100 MHz. Vier Wellenformen werden in Quadratur erzeugt, um einen VCSEL (Vertical Cavity Surface-Emitting Laser) oder LED-Emitter anzusteuern. Ein Lock-in-Verstärker berechnet die vier phasenverschobenen Signale von jedem Pixel und kann Signale mit einer bekannten Trägerwelle von einem verrauschten Hintergrund unterscheiden, um eine genaue Tiefenerkennung bei allen Arten von Umgebungslicht zu gewährleisten. Das Sensor-Subsystem enthält auch eine strahlformende Optik mit einer Linse mit großer Blende und einen Host-Mikrocontroller.

Mithilfe der Tiefendaten von jedem Sensorpixel und unter Berücksichtigung der Linsenparameter an der Pixelposition kann ein 3D-Punktwolkenbild erstellt werden (Bild 1).



Bild 1: 3D-Punktwolkenbild, das mit ToF-Sensordaten erstellt wurde.

3D-ToF-Lösungen umsetzen
Melexis hat sich mit 3D-Technologieunternehmen zusammengetan, um DMS-Demos zu erstellen, die auf den 3D-Time-of-Flight-/ToF-Kamerasensoren MLX75027 von Melexis basieren.

Mit der Aufmerksamkeitsüberwachungstechnik von Eyeware bietet das DMS eine Blick- und Kopfverfolgung mit hoher Erkennungsgenauigkeit unter einer Vielzahl von Fahrbedingungen, einschließlich hellem Sonnenlicht.

Die Algorithmen verwenden proprietäre,auf maschinellem Lernen (ML) basierende Strategien, die schnelle Reaktionszeiten und einen geringen Stromverbrauch gewährleisten. Durch die Kombination der Stärken des ToF-Sensors mit seiner internen Signalverarbeitung und der Software kann das System einen sehr großen Bereich von Kopfbewegungen überwachen und die Augen bei verschiedenen Auflösungseinstellungen gut lokalisieren.

Mit einem einzigen MLX75027-Sensor mit VGA-Auflösung (640 x 480 Pixel) kann das resultierende DMS sowohl den Fahrer als auch den Beifahrer erfassen. Der Sensor hat einen minimalen Platzbedarf, was ein kostengünstiges und kompaktes Modul ermöglicht, das sich einfach in die Rückspiegelbaugruppe integrieren lässt. Melexis bietet eine Reihe Automotive-qualifizierter ToF-Sensoren von QVGA (320 x 240) bis VGA, die für DMS-Anwendungen geeignet sind.

3D-ToF-Sensorik in der Praxis
Der DMS-Prototyp, der mit dem ToF-Sensor-Evaluierungsboard EVK75027 von Melexis erstellt wurde, ist unter Laborbedingungen getestet worden, um die Entfernungen und Blickwinkel in einem realen Fahrzeug nachzubilden. Die Experimente wurden mit einer Gruppe von 15 Teilnehmern durchgeführt.

Das Bild eines Autoinnenraums mit visuellen Zielen, die sich scheinbar außerhalb befinden, wurde auf einen Bildschirm vor dem Teilnehmer projiziert. Um Informationen über den genauen Blickverlauf zu erhalten, wurden Punkte an zufälligen Stellen auf dem Bildschirm eingeblendet, und die Teilnehmer wurden aufgefordert, auf den jeweiligen Punkt zu blicken und diesen zu bestätigen. Nach jeder Bestätigung wurde der nächste Blickpunkt auf dem Bildschirm angezeigt. Die Teilnehmer wurden zweimal für eine Dauer von 120 Sekunden pro Sitzung aufgezeichnet.

Um die Leistungsfähigkeit der Kopfpositionserkennung zu bewerten, wurden Fälle, in denen die Kopfverfolgung mit einem Positionsfehler von weniger als 3 cm erreicht, als erfolgreich angesehen. Dementsprechend betrug die positive Erkennungsrate bei 99,7% (Tabelle 1).



Tabelle 1: Ergebnisse zur Genauigkeit der Kopfhaltung.

Die statistische Analyse der Ergebnisse zur Kopfhaltung ergab einen durchschnittlichen Positionsfehler von 7,3 mm mit einer Standardabweichung von 4,8 mm. Mit einer Gesamtfehlerrate von unter 0,3% bei sehr weiten Betrachtungswinkeln deuten die Ergebnisse darauf hin, dass ein DMS auf ToF-Basis in der Lage ist, das Gesicht immer im Auge zu behalten.

Die Bewertung, um Augen abseits der Straße zu erkennen, erfolgte über Ground-Truth-/Feldvergleichs-Datenpunkte die auf der Definition von Zonen für „Augen auf der Straße“ und „Augen abseits der Straße“ basieren (Bild 2).



Bild 2: Augen auf der Straße (grün) und abseits der Straße (rot)

Die Leistungsfähigkeit wurde anhand der Metriken „Precision“ (Präzision) und „Recall“ (Widerruf) gemessen: Precision ist definiert als das Verhältnis von „True Positives“ (Bilder, die korrekt als „Augen abseits der Straße“ erkannt wurden) zur Anzahl der Erkennungen. Eine Präzision von 100% bedeutet, dass keine Fehlalarme aufgezeichnet werden, obwohl einige Ereignisse übersehen werden können.

Recall ist das Verhältnis von True Positives zu der Anzahl der Ereignisse/Alarme. Im Extremfall bedeuten Recalls von 100%, dass alle Ereignisse erkannt werden – mit einigen Fehlalarmen.

Das DMS erkannte 95% (Recall) der „Augen abseits der Straße“. Die Anzahl der Fehlalarme (Präzision) lag unter 5%.

Da das Schließen der Augen ein Indikator für Müdigkeit des Fahrers ist, wurde auch die Erkennung von offenen/geschlossenen Augen überwacht. Trotz der relativ niedrigen VGA-Auflösung des Sensors wurde eine Genauigkeit von über 95% erzielt. Dies demonstriert eine robuste Erkennung des Augenschlusses, die genau genug ist, um als Bestandteil eines umfassenderen Systems zur Müdigkeitserkennung eingesetzt zu werden.

www.melexis.com

  Fordern Sie weitere Informationen an…