Ochrona AI – Bezpieczeństwo autonomicznej jazdy
QualityMinds śledzi „przypadki narożne” i wspiera zapewnianie jakości sztucznej inteligencji
Śledź nas
Bezpieczeństwo autonomicznej jazdy w Berlinie
Projekt ochrony AI jest częścią flagowej inicjatywy VDA na rzecz autonomicznej i połączonej jazdy i jest finansowany przez Federalne Ministerstwo Gospodarki i Ochrony Klimatu.
Oprócz QualityMinds, w projekt zaangażowanych było kolejnych 24 partnerów z przemysłu i środowiska akademickiego, badających kluczowe kwestie związane z walidacją funkcji opartych na sztucznej inteligencji dla wysoce zautomatyzowanej jazdy. Projekt jest finansowany kwotą 41 milionów euro.
Głębokie sieci neuronowe odgrywają decydującą rolę w realizacji wysoce zautomatyzowanej i autonomicznej jazdy, ponieważ mogą postrzegać i różnicować różne dane z czujników z otoczenia, takie jak piesi lub przeszkody. Jest to jedyny sposób na umożliwienie wysoce zautomatyzowanej jazdy, w której pojazd może i musi odpowiednio reagować na różne sytuacje.
Wyzwanie:
Tworzenie syntetycznego zestawu danych i analiza „przypadków narożnych”
Głównym celem projektu było osiągnięcie konsensusu branżowego w zakresie systematycznej metodologii akceptacji funkcji sztucznej inteligencji w dziedzinie autonomicznej jazdy.
Jakość systemów sztucznej inteligencji jest szczególnie ważna w złożonej dziedzinie autonomicznej jazdy. Tutaj algorytmy, przepisy ruchu drogowego i technologia czujników muszą idealnie współdziałać, nawet w najbardziej nietypowych sytuacjach, aby podejmować właściwe decyzje. Ponieważ tam, gdzie stawką jest ludzkie życie, niewątpliwie ważne jest zminimalizowanie poziomu błędów.
Wymagania dla QualityMinds obejmowały stworzenie syntetycznego zestawu danych oraz identyfikację i analizęprzypadków narożnych(wyjątkowych sytuacji). Miało to na celu wskazanie obszarów funkcji sztucznej inteligencji, w których odpowiednia sieć neuronowa nie działała zgodnie z oczekiwaniami i gdzie wymagane były dalsze działania.
Rozwiązanie:
Wkład QualityMinds w autonomiczną jazdę
Dzięki badaniu przypadków narożnych i zbiorowi danych stworzonemu wspólnie w ramach projektu zidentyfikowano ważne wyzwania związane z realizacją technologii autonomicznej jazdy.
QualityMinds prowadzi pakiet roboczy poświęcony opracowaniu metodologii identyfikacji przypadków narożnych (sytuacji, w których sieć neuronowa reaguje na swoje środowisko w nieoczekiwany sposób), a tym samym uwzględnieniu ich w jakości danych treningowych i testowych. Ponadto, QualityMinds działa jako Gatekeeper („Quality Gate”) poprzez krytyczny przegląd wymagań i zapewnienie, że kryteria jakości są spełnione przed przejściem projektu do następnej fazy.
W ramach projektu powstały również artykuły naukowe, np. na temat automatycznego tworzenia zbioru danych przypadków narożnych przy użyciu potoku narzędzi, które zostały następnie zaprezentowane przez Nielsa Hellera i Namratę Gurung na konferencji DATA 2022 w Lizbonie.
Fakty w skrócie
Wsparcie w tworzeniu syntetycznego zestawu danych, np. poprzez inżynierię wymagań
Funkcja „bramki jakości” (weryfikacja kryteriów jakości)
Badanie „przypadków narożnych” w celu zidentyfikowania obszarów, w których sieć neuronowa reaguje nieoczekiwanie i wymagane są dalsze działania
Zastosowanie metod hedgingowych w rozwoju krajowym i normalizacji międzynarodowej
Tworzenie i prezentacja artykułów naukowych, np. poprzez automatyczne tworzenie zestawu danych przypadku narożnego przy użyciu potoku narzędzi
Rozpoznawanie wyzwań związanych z autonomiczną jazdą, np. identyfikowanie stref ryzyka za zakrętami
Udział w projekcie AI Safeguarding był wyjątkowym doświadczeniem badawczym w dziedzinie autonomicznej jazdy.
QualityMinds odegrało kluczową rolę w podprojekcie „Dane syntetyczne”, koncentrując się na inżynierii wymagań i tworzeniu bramki jakości dla zestawów danych syntetycznych. Dokładnie przeanalizowaliśmy przypadki narożne – scenariusze, w których sieci neuronowe reagują nieoczekiwanie – aby zidentyfikować obszary wymagające poprawy.
Współpraca ta doprowadziła do znacznych postępów w zakresie bezpieczeństwa autonomicznej jazdy, w tym opracowania syntetycznego zbioru danych pieszych(SynPeDS), który wspiera ocenę wydajności funkcji percepcji opartych na sztucznej inteligencji. Ponadto zbadaliśmy nową metodę automatycznej ekstrakcji przypadków narożnych, która została opisana w naszym artykule „Wysoce zautomatyzowana ekstrakcja przypadków narożnych: wykorzystanie regresji kwantylowej Gradient Boost do zapewnienia jakości sztucznej inteligencji” na konferencji DATA 2022.
Oprócz publikacji „Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety” („Sprawdź, zrozum, pokonaj: przegląd praktycznych metod bezpieczeństwa AI”) która zawiera kompleksowy przegląd mechanizmów bezpieczeństwa w sztucznej intelig encji.
Ścisła współpraca wszystkich partnerów sprzyjała innowacyjności i doskonałości oraz wniosła cenny wkład w przyszłość technologii autonomicznej.
Dr Namrata Gurung QualityMinds
Starszy specjalista ds. danych