Dostosowanie standardów testowania do świata nauki o danych:
Najlepsze praktyki w zakresie niezawodnej strategii testowania sztucznej inteligencji
Stawmy czoła nowym wyzwaniom w świecie testowania wraz z solidną wiedzą na temat zarządzania danymi – od przetwarzania wstępnego po przypadki narożne
Zapytaj teraz
Śledź nas
Opracowanie solidnej strategii testowania AI z naciskiem na precyzyjną analizę danych.
Zoptymalizuj implementację sztucznej inteligencji za pomocą kompleksowych testów, aby zapewnić niezawodne działanie modeli nawet w trudnych scenariuszach.
Doradzamy w opracowaniu kompleksowej strategii testowania systemów opartych na sztucznej inteligencji i uczeniu maszynowym:
- Wspólne projektowanie strategii testowych
- Identyfikacja potencjalnych wyjątków (przypadków narożnych)
- Doskonali eksperci testowi do praktycznych testów eksploracyjnych
- Kompleksowa ocena narzędzia
podcast
Jakie dane można wykorzystać do testowania i walidacji sztucznej inteligencji?
QualityHeroes Podcast Episode 18: Nasza ekspertka ds. testów, Bettina Stühle-Stein, informuje o dużym projekcie IT dotyczącym autonomicznej jazdy.
Projekt ochrony AI:
Obudowy narożne
Złożoność testowania sztucznej inteligencji jest szczególnie widoczna w naszym największym projekcie AI, projekcie finansowanym przez rząd niemiecki, którego celem jest opracowanie uogólnionej metodologii walidacji AI w pojazdach autonomicznych. Jesteśmy odpowiedzialni za systematyczne uwzględnianie tak zwanych przypadków narożnych, tj. krytycznych sytuacji wyjątkowych zarówno w ruchu drogowym, jak i w systemie sztucznej inteligencji i technologii czujników.
Więcej informacji o projekcie można znaleźć tutaj: Zakończenie projektu: Ochrona AI – argumentacja bezpieczeństwa dla autonomicznej jazdy w Berlinie.
Ulepszone wykrywanie pieszych za pomocą wizji komputerowej
Opracowano niezawodny proces całościowej oceny różnych funkcji sztucznej inteligencji w celu uzyskania weryfikowalnej argumentacji dotyczącej bezpieczeństwa.
Ukierunkowane szkolenie sztucznej inteligencji z wykorzystaniem nowoczesnych technologii symulacyjnych poprawiło rozpoznawanie pieszych nawet w trudnych warunkach.
Przykład wykrywania pieszych w celu skonfigurowania i zilustrowania łańcucha rozumowania
Testowanie istniejących algorytmów wykrywania pieszych
Identyfikacja krytycznych scenariuszy (przypadków narożnych), np. zmienionego padania światła lub tymczasowo zasłoniętego widoku.
Strategia testowania jest najważniejszym elementem skutecznego i wydajnego testowania systemów opartych na sztucznej inteligencji i uczenia maszynowego.
Podczas gdy testowanie „tradycyjnych systemów” (internetowych, mobilnych, API itp.) może opierać się na różnych istniejących strategiach testowych, nie dotyczy to systemów opartych na uczeniu maszynowym. Zamiast tego należy skupić się na danych, ich strukturze, semantyce itp. oraz technikach generowania danych. Koncepcje testowe stanowią podstawę dla standardów międzyprojektowych w obszarze jakości i testowania. Stanowią one podstawę do opracowywania strategii testowych związanych z projektem i dlatego są jednym z kamieni węgielnych działań testowych. Doradzamy zespołom produktowym, w jaki sposób można zaprojektować taką strategię testową i jak można stworzyć potoki przygotowania i walidacji danych. Nasze doradztwo prowadzone jest w sposób zwinny, z wykorzystaniem metod takich jak OnePager, 10-minutowa strategia testowa i risk storming.
Strategia testowania sztucznej inteligencji
Wyjątkowe przypadki
Obudowy narożne
Podczas testowania systemów opartych na sztucznej inteligencji i uczenia maszynowego niezwykle istotna jest systematyczna identyfikacja potencjalnych wyjątków, „przypadków narożnych”.
Doradzamy zespołom produktowym w zakresie identyfikacji, projektowania i testowania przypadków narożnych i jesteśmy zaangażowani w proces szkolenia i testowania, a także w fazie aplikacji.
Warsztat
W 5 krokach do strategii testowania sztucznej inteligencji
Strategia testowania sztucznej inteligencji dla firm
Treści edukacyjne są doskonalone podczas wstępnych warsztatów odkrywczych i mogą być uzupełniane i dostosowywane w miarę potrzeb w trakcie podróży. W tym celu zaangażujemy wszystkie istotne role w proces rozwoju na zasadzie interdyscyplinarnej.
Wyprowadzenie procesu: od wymagań poprzez dane testowe do systemu produkcyjnego.
Analiza ryzyka wzdłuż procesu pochodnego.
Aspektem przekrojowym będzie tutaj tworzenie i wykorzystywanie domeny projektu operacyjnego (ODD) aplikacji, w szczególności w odniesieniu do treści, wskaźników i monitorowania, ryzyka i strategii łagodzenia skutków, wspólnej wiedzy i struktury piramidy testowej.
Indywidualne opracowanie koncepcji testu AI dla projektu.
Opracowanie modułowej strategii testowania sztucznej inteligencji.
Jakość danych testowych
Podczas testowania systemów opartych na ML, nacisk kładziony jest na dane w znacznie większym stopniu niż w przypadku „tradycyjnych” podejść testowych.
Ocena jakości wykorzystywanych danych szkoleniowych, testowych i walidacyjnych wymaga solidnej wiedzy zarówno z zakresu nauki o danych, jak i zarządzania danymi.
Oferujemy naszym klientom połączenie obu światów, dostarczając metody i narzędzia do projektowania i budowania potoku danych testowych w projektach.
Testy praktyczne
Każda skuteczna strategia testowa to połączenie starannie opracowanych przypadków testowych, automatyzacji testów i testowania eksploracyjnego. Zwłaszcza te ostatnie wymagają bardzo dobrego zrozumienia domeny i doskonałych umiejętności testowania.
Oferujemy naszym klientom szereg doskonałych ekspertów testowych do eksploracyjnych testów terenowych w celu zidentyfikowania najważniejszych wyjątkowych sytuacji dla systemów opartych na ML.
Narzędzia testowe oparte na ML
Różne techniki znane z nauki o danych i uczenia maszynowego mogą być również wykorzystywane do usprawnienia procesu testowania.
Rynek narzędzi testowych opartych na ML powoli ewoluuje. Zapewniamy naszym klientom przegląd i ocenę narzędzi w oparciu o ich wymagania i naszą wiedzę na temat tego rynku.
Zrewolucjonizuj jakość swoich produktów dzięki ekspertom w dziedzinie testów:
Z powodzeniem działamy w branży zapewniania jakości od 12 lat – nasze korzenie sięgają testowania!
Jesteśmy zwinną organizacją, która szybko dostosowuje się do nowych technologii i wymagań rynku.
Naszą siłą napędową jest testowanie, szczególnie przez testerów dla testerów: SKILLUP – testowanie AI dla testerów.
Oferujemy testy dla NON-Testerów i inżynierów ML
podcast
Jak testować uczenie maszynowe?
QualityHeroes Podcast Episode 36: Nasi goście Namrata Gurung i Michael Młynarski omawiają różne metody testowania systemów opartych na AI i ML.
Projekty
Przedstawiamy naszych klientów
Projekt ochrony AI w autonomicznej jeździe
Jest to projekt badawczy finansowany przez Federalne Ministerstwo Gospodarki i Ochrony Klimatu. Opracowywana jest metodologia bezpieczeństwa AI w związku ze zautomatyzowaną jazdą. QualityMinds kierowała pakietem roboczym na temat przypadków narożnych.
UWAGA projekt finansowania
ATTENTION to projekt badawczy finansowany przez rząd niemiecki. We współpracy z konsorcjum 5 niemieckich partnerów projektu (producenci OEM, dostawcy, partnerzy technologiczni, instytuty badawcze) opracowywane są metody w dziedzinie autonomicznej jazdy w celu przewidywania ryzyka wypadków w czasie rzeczywistym i ograniczania szkód.
Test ML Automotive
Doradztwo i rozwój oprogramowania do planowania testów z wykorzystaniem nadzorowanego uczenia maszynowego. QualityMinds zoptymalizował planowanie testów dla dużego producenta samochodów przy użyciu uczenia maszynowego i opracował wydajne testy oprogramowania sterującego.
Czy masz jakieś pytania?
Skontaktuj się z nami! Z niecierpliwością czekamy na wymianę wiedzy z Tobą.
