KI-Absicherung – Sicherheit für autonomes Fahren
QualityMinds geht „Corner Cases“ auf die Spur und unterstützt die Qualitätssicherung von Künstlicher Intelligenz
Folge uns
Sicherheit für autonomes Fahren in Berlin
Das Projekt KI-Absicherung ist eingebettet in die VDA Leitinitiative für autonomes und vernetztes Fahren und gefördert durch das Bundesministerium für Wirtschaft und Klimaschutz.
Neben QualityMinds waren weitere 24 Partner aus Industrie und Wissenschaft beteiligt, die zentrale Fragestellungen zur Absicherung von KI-basierten Funktionen für das hochautomatisierte Fahren untersuchten. Das Projekt ist mit 41 Millionen Euro gefördert.
Tiefe neuronale Netze (Deep Neural Networks) spielen eine entscheidende Rolle für die Realisierung von hochautomatisiertem und autonomen Fahren, da sie diverse Sensordaten die Umwelt, wie z. B. Fußgänger:innen oder Hindernisse, wahrnehmen und unterscheiden können. Nur so wird das hochautomatisierte Fahren, in dem das Fahrzeug auf verschiedene Situationen angemessen reagieren kann und muss, möglich.
Die Challenge:
Erstellung eines synthetischen Datensatzes & Analyse von „Corner Cases“
Zentraler Anspruch des Projekts war die Ableitung eines Industriekonsens für eine systematische Methodik zur Abnahme von KI-Funktionen im Bereich des autonomen Fahrens.
Besonders im komplexen Bereich des autonomen Fahrens ist die Qualität von KI-Systemen von entscheidender Bedeutung. Hier müssen Algorithmen, Verkehrsrecht und Sensorik, selbst in den außergewöhnlichsten Situationen, perfekt ineinander spielen, um die richtigen Entscheidungen zu treffen. Denn wo es um Menschenleben geht, gilt es zweifelsohne, die Fehlerquote möglichst gering zu halten.
Die Anforderungen an QualityMinds waren, einen synthetischen Datensatz aufzubauen sowie „Corner Cases“ (Ausnahmesituationen) zu identifizieren und analysieren. Daraus sollten sich Hinweise ergeben, in welchen Bereichen der KI-Funktionen das entsprechende neuronale Netz nicht wie antizipiert funktioniert und weiterer Handlungsbedarf besteht.
Die Lösung:
QualityMinds‘ Beitrag zum autonomen Fahren
Durch die Untersuchung der “Corner Cases“ und den im Projekt gemeinsam erstellten Datensatz wurden wichtige Herausforderungen in Bezug auf die Realisierung der autonomen Fahrtechnologie gefunden.
QualityMinds leiten ein Arbeitspaket, das sich der Erarbeitung einer Methodik zur Identifikation von Corner Cases (Situationen, in denen das neuronale Netz auf unerwartete Weise auf seine Umwelt reagiert) und damit deren Berücksichtigung für die Qualität der Trainings- und Testdaten verschrieben hat. Darüber hinaus fungiert QualityMinds als Gatekeeper („Quality Gate“), indem es Anforderungen kritisch überprüft und sicherstellt, dass Qualitätskriterien erfüllt sind, bevor ein Projekt in die nächste Phase übergeht.
Im Rahmen des Projekts entstanden zudem wissenschaftliche Arbeiten, z. B. über die automatische Erstellung eines Corner Case Datensatzes mittels einer Tooling Pipeline, welche anschließend durch Niels Heller und Namrata Gurung in Lissabon im Rahmen der DATA 2022 vorgestellt wurden.
Fakten auf einen Blick
Unterstützung beim Aufbau eines synthetischen Datensatzes, z.B. durch Requirements Engineering
Funktion als „Quality Gate“ (Überprüfung der Qualitätskriterien)
Untersuchung von „Corner Cases“, um Bereiche zu identifizieren, in denen das neuronale Netz unerwartet reagiert und weitere Handlungen nötig sind
Anwendung der Absicherungsmethoden in nationaler Entwicklung & internationaler Standardisierung
Erstellung und Präsentation wissenschaftlicher Arbeiten, z.B. über die automatische Erstellung eines Corner Case Datensatzes mittels einer Tooling Pipeline
Erkennung der Herausforderungen des autonomen Fahrens, z.B. Identifikation von Risikozonen hinter Ecken
Die Teilnahme am Projekt KI-Absicherung war eine außergewöhnliche kollaborative Forschungserfahrung auf dem Gebiet des autonomen Fahrens.
QualityMinds spielte eine zentrale Rolle im Teilprojekt „Synthetische Daten“ und konzentrierte sich dabei auf das Requirements Engineering und die Einrichtung eines „Quality Gate“ für synthetische Datensätze. Wir untersuchten sorgfältig Corner Cases – Szenarien, in denen neuronale Netze unerwartet reagieren -, um Bereiche mit Verbesserungsbedarf zu identifizieren.
Diese Zusammenarbeit führte zu bedeutenden Fortschritten bei der Sicherheit des autonomen Fahrens, einschließlich der Entwicklung des synthetischen Fußgängerdatensatzes (SynPeDS), der die Leistungsbewertung von KI-basierten Wahrnehmungsfunktionen unterstützt. Darüber hinaus haben wir eine neue Methode zur automatischen Extraktion von Corner Cases erforscht, die in unserem Paper „Highly Automated Corner Cases Extraction: Using Gradient Boost Quantile Regression for AI Quality Assurance“ auf der DATA 2022-Konferenz vorgestellt wurde.
Zusätzlich haben wir zu der Publikation „Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety“ beigetragen, die einen umfassenden Überblick über Sicherheitsmechanismen in der KI bietet.
Die enge Zusammenarbeit aller Partner förderte Innovation und Exzellenz und leistete einen wertvollen Beitrag zur Zukunft der autonomen Technologie.
Dr. Namrata Gurung QualityMinds
Senior Data Scientist