Im KAMO-Transferprojekt LIDARSIM wurden Simulationsmodelle für reale Laserscanner (LiDAR) auf Grundlage von Messungen zur geometrisch-optischen Systemfunktion entwickelt.

Automotive-LiDAR-Systeme erzeugen hochauflösende 3D-Punktwolken ihrer Umgebung, in denen beispielsweise für automatisiertes Fahren andere Verkehrsteilnehmer mittels KI erkannt und klassifiziert werden können.

Dabei liefern diese Systeme präzise 3D-Punktwolken, die unter guten Bedingungen einfach zu simulieren und interpretieren sind. Zur Sicherstellung des notwenigen hohen Sicherheitsniveaus bei Automotive-Anwendungen muss die Datenqualität der Sensoren aber insbesondere auch unter herausfordernden Bedingungen sichergestellt sein.

Das Projekt ergründet daher die systembedingten Ursachen anwendungsspezifischer Artefakte der LiDAR-Sensoren im Automotive Umfeld. Diese entstehen durch retroreflektierende Oberflächen an Fahrzeugen oder flache Auftreffwinkel der Strahlen auf der Straßenebene oder Fahrzeugseiten.

Wieso datengetriebene LiDAR-Simulation?

Überblick über die Aspekte eines Laserscanners, die im Projekt messtechnisch und simulativ abgebildet wurden. (© Fraunhofer IOSB, KIT-LTI, KAMO)

Was wurde erreicht?

  • Methodik zur detaillierten geometrisch optischen Vermessung von Laserscannern im Messlabor

  • Ableitung der optischen Systemfunktion hinsichtlich der Strahlaufweitung aus Sende- und Empfangsseite als Kalibrationsparameter

  • Überführung in Parameter in ein physikalisch-basiertes Simulationsmodell

  • Abbildung von Blooming, Streulicht, Echopulsweite

Artefakte in LiDAR-Punktwolken entstehen durch grundverschiedene Faktoren und zu unterschiedlichen Zeitpunkten: Einerseits entlang des optischen Lichtwegs vom Sensor in die Szene und zurück; und andererseits anschließend durch analoge und digitale Effekte im Empfänger.

Bei der Ausbreitung der Laserstrahlen in der Szene gilt, dass diese nicht wie in einfachen Modellen unendlich dünn und parallel sind, sondern eine Winkelaufweitung besitzen, die in der Anwendungsentfernung nicht mehr vernachlässigbar ist.

Optisch wirkt nicht nur die Aufweitung des Sendestrahls, sondern auch die Winkelsensitivität des Empfängers im Sensor. Diese optische Unschärfe in der Sende- und Empfangseinheit in Kombination mit den sehr hohen effektiven Reflektionsfaktoren (R > 100 für retroreflektierende Materialien bei der hier typischen parallelen Sende- und Empfangsrichtung) führt in der Anwendung oft zu Artefakten in Form von Geisterbildern durch Überstrahlung, sogenanntes »Blooming«.

Welche Artefakte können bei LiDAR auftreten?

Reale Punktwolke eines Valeo Scala Gen. 2 mit einigen typischen Effekten

Die Wahl der richtigen Strahlauflösung ist daher ein Kompromisszwischen der beschreiben Überstrahlung und zu großen Lücken zwischen den Datenpunkten, die Aliasing-Effekten erzeugen, bei denen schmale Objekte zwischen Strahlen verschwinden.

Im Empfänger wird oft die Echopulsweite als Abschätzung der Reflexionsintensität gemessen. Aber auch hier gilt, dass diese Abschätzung durch die Strahlgeometrie und der Oberflächenwinkel des Ziels beeinflusst wird.

KI-basierte Auswertealgorithmen zur Objekterkennung auf Basis von LiDAR-Sensoren können nur dann optimal trainiert und validiert werden, wenn die Qualität der simulierten Trainingsdaten hinreichen gut die Realität samt uystemspezifischen Artefakten widerspiegelt.

Daher ist es wichtig die systemspezifischen Artefakte der unterschiedlichen LIDAR Systeme physikalisch korrekt simulieren zu können. Hierzu ist die korrekte Simulation der errechneten 3D-Koordinaten des LiDAR aus der realen optischen Systemfunktion des LiDAR-Sensortyps und der geometrischen und optischen Objekteigenschaft der getroffenen Teilfläche essentiell.

Nur wenn entsprechende Effekte, basierend auf realen Daten des Sensormodells, in der Simulation abbildbar sind, können sensorspezifische Eigenschaften in virtuellen Tests hinreichend berücksichtigt werden.

Wie funktioniert die datengetriebene Simulation?

Niedrige IntensitätMittlere Intensität

Simulierte Punktwolke aus OCTAS anhand der entwickelten Modelle. LiDAR-Intensität, Oberflächenbeschaffenheit und Streulicht der Umgebung beeinflussen die Reichweite eines Laserscanners. (© Fraunhofer IOSB)

Blickfeld Cube und Valeo Scala Gen. 2 auf dem Goniometer, vor geometrischem Referenzobjekt mit optisch bekannter Retroreflektion im Prüflabor. (© KIT-LTI)

Im Projekt kommt das Lichttechnische Prüflabor des KIT-LTI zum Einsatz. In diesem Labor können Lichtquellen hinsichtlich ihrer absoluten räumlichen Strahlstärke im sichtbaren Bereich vermessen werden. Das verwendete Goniometer hat eine geometrische Auflösung von 0,01° und eine absolute optische Unsicherheit im Bereich von wenigen Prozent bei einer relativen Auflösung von 0,1%.

Mit diesem System ist es möglich zeitlich stabile örtliche Verteilungen bis circa 1000 nm aufgrund der verwendeten Si-CCD-Kameras zu bestimmen. Andere Wellenlängen können potentiell in Zukunft auch vermessen werden. Zudem kann die geometrische Antwortfunktion vermessen werden, sofern die Auswertung mittels externer DC-Beleuchtung möglich ist.

Entsprechend wurden im Projekt Messmethoden erarbeitet, die optische und geometrische Sensorparameter realer Systeme erheben, und diese für die simulative Abbildung nutzbar machen.

Komplementär wurden Simulationsmodelle in unterschiedlichen Detailgraden (Levels of Detail) entwickelt, die über entsprechende Daten parametrierbar sind.

Die Modelle wurden mit Messdaten aus der optischen Vermessung und Realdaten aus Straßenfahrten abgeglichen. Die Modelle sind in der Lage, Scanner mit unterschiedlichen Beam-Steering-Verfahren (Gesamtrotation, rotierender Spiegel, MEMS, Prismen, Flash) abzubilden. Die spezifische geometrische Strahlaufweitung und genutzte Wellenlänge können im Modell mit berücksichtigt werden.

LaboraufbauReflektierte Intensitäten

Messung der Strahlstärkeverteilung mit 0,01° Auflösung eines Einzelstrahl-Patterns des Blickfeld Cube im Lichttechnischen Prüflabor des KIT-LTI (© KIT-LTI)

Welche Mehrwerte werden geschaffen?

Im Gesamtergebnis besteht die Möglichkeit, Simulationsmodelle von realen LiDAR-Systemen auf systemtheoretischer Ebene von Grund auf messtechnisch zu erfassen und zu nutzen.

Aber auch Teilergebnisse des Projekts stehen Anwendern zur Verfügung: Die auf- und ausgebauten Kompetenzen erlauben es, Laserscannersysteme detailliert hinsichtlich ihrer Messunsicherheit und Sensitivität absolut zu vermessen, und ein geometrisch optische Modell der Auswertung der Kalibrierung zu erzeugen.

Darüber hinaus sind Publikationen zu den Verfahren in Arbeit, und die Veröffentlichung von Open-Data-Datensätzen der Messungen. Die Simulationsmodelle werden im Rahmen von OCTANE/OCTAS als Open-Source zur Verfügung gestellt.

Strahlverteilungsmuster eines Blickfeld-Cube-Laserscanners (© KIT-LTI)

Das Projekt verbindet zwei Partner aus dem KAMO-Kontext mit langjähriger Expertise im Feld:

Das KIT-LTI ist mit seiner Gründung 1922 seit über 100 Jahren im Bereich Lichttechnik und Photometrie tätig und eines der ältesten lichttechnischen Institute der Welt.

Das Fraunhofer IOSB arbeitet seit den 1980er Jahren an der Entwicklung sicherer Umgebungsperzeption für automatisiertes Fahren auf der Straße, und seit 2014 an der Entwicklung offener Simulationsmodelle für die Anwendung, im Rahmen der Plattform OCTANE/OCTAS.

Projektpartner

Durch die Bündelung dieser Kompetenzen wird eine durchgängig physikalisch korrekte Modellierung des Systems ermöglicht: Ein tiefes Verständnis über optische Vorgänge, messtechnische Expertise und umfangreiche Laborausstattung, des LTI in Verbindung mit Erfahrung in der industriellen Anwendung und KI-basierten Auswertung von LiDAR, und in der recheneffizienten Abbildung von physikalisch-basierten Simulationsverfahren der IOSB bilden eine gute Symbiose in diesem Themenfeld.

Öffentlich geförderte KAMO-Projekte, die von der Kooperation bereits aktuell profitieren, sind beispielsweise AVEAS (Absicherungsrelevante Verkehrssituationen erheben, analysieren und simulieren, 2021–2025, BMWK), sowie das Projekt C2CBridge (2024 – 2027, BMDV), das Teil des Deutschen Zentrums Mobilität der Zukunft ist.

Kontakt

Dr.-Ing. Klaus Trampert
Leiter Messlabor | Allgemeine Geschäftsführung
Tel.: +49 721 608 47065
klaus.trampert@kit.edu

Jens Ziehn
Gruppenleiter Automotive & Simulation
Tel.: +49 721 6091 633
jens.ziehn@iosb.fraunhofer.de