Testowanie sztucznej inteligencji (AI) i uczenia maszynowego (ML)
SPECJALISTYCZNE USŁUGI I KOMPETENCJE W ZAKRESIE QA
Sztuczna inteligencja jest obecnie niezwykle popularna i wkracza w najróżniejsze obszary działalności biznesowej. Również domena testowania, w której aktywnie działamy i która w tym kontekście znajduje często tylko niewielkie wsparcie, rozwija się dzięki uczeniu maszynowemu (machine learning), które stawia przed nami zupełnie nowe wyzwania.
Testowanie już nigdy nie będzie takie samo
Jakość systemów AI ma kluczowe znaczenie, zwłaszcza gdy ich ewentualne awarie prowadzą do daleko idących konsekwencji, jak w przypadku technologii autonomicznej jazdy. Ponieważ AI uczy się na podstawie danych, a na chwilę obecną brakuje jasno określonych, opracowanych przez ludzi algorytmów, testowanie wymaga zupełnie nowego podejścia. W oparciu o nasze doświadczenia projektowe, jak i ogólne zastosowania w kontekście AI, ustaliliśmy listę kwestii dotyczących koncepcji strategii testowania i projektu. Powinny być one opracowane w celu stworzenia strategii testowej zorientowanej na potrzeby klienta. Kompleksowość tego zagadnienia jest szczególnie widoczna w naszym największym, finansowanym przez rząd niemiecki, projekcie AI, którego celem jest opracowanie powszechnie stosowanej metodologii zabezpieczenia dla AI w pojazdach autonomicznych. Nasze zadanie polega na systematycznym uwzględnianiu krytycznych sytuacji wyjątkowych zarówno w ruchu drogowym, jak i w systemie AI oraz w przynależnych układach czujników.
Wiedza specjalistyczna z zakresu AI
Strategia testowania
Strategia testowania jest fundamentem skutecznego i efektywnego testowania. Podczas gdy “tradycyjne systemy” (web, mobile, API, itp.) można testować w oparciu o kilka istniejących strategii testowych, dla systemów opartych na uczeniu maszynowym (ML) trzeba przyjąć nowe strategie. Należy, na przykład, bardziej skoncentrować się zarówno na danych, ich strukturze, semantyce itp. jak i na technikach generowania danych. Doradzamy zespołom produktowym, w jaki sposób można zaprojektować tego typu strategię testową. Robimy to w sposób zwinny, stosując metody takie jak OnePager czy plan testów w 10 minut, a także risk storming.
Przypadki szczególne
Podczas testowania systemów opartych na uczeniu maszynowym niezwykle istotna jest systematyczna identyfikacja potencjalnych „corner cases”, czyli przypadków szczególnych. Doradzamy zespołom produktowym w zakresie identyfikacji, projektowania i testowania przypadków szczególnych oraz jesteśmy obecni w procesie szkolenia, testowania i na etapie zastosowania.
Jakość danych testowych
Testowanie systemów opartych o uczenie maszynowe jest znacznie bardziej skupione na danych niż “tradycyjne” podejście do testowania. W szczególności, nacisk na wysoką jakość danych testowych i podejście oparte na danych wymaga solidnie ugruntowanej wiedzy, zarówno z zakresu zarządzania danymi testowymi jak i nauki o danych. Oferujemy naszym klientom połączenie obu światów, dostarczając metody i narzędzia do projektowania i budowania potoku danych testowych w projektach.
Testowanie w praktyce
Każda skuteczna strategia testowania jest mieszanką starannie przygotowanych przypadków testowych, automatyzacji testów i testów eksploracyjnych. W szczególności te ostatnie wymagają bardzo dobrego zrozumienia domeny i doskonałych umiejętności testerskich. Oferujemy naszym klientom znakomitych ekspertów i ekspertki do praktycznego testowania eksploracyjnego w celu zidentyfikowania najważniejszych przypadków szczególnych dla systemów opartych na uczeniu maszynowym.
Narzędzia testerskie oparte na uczeniu maszynowym
W celu usprawnienia procesu testowania można wykorzystać rozmaite techniki znane z nauki o danych i uczenia maszynowego. Rynek opartych na nim narzędzi do testowania powoli się rozwija. Oferujemy naszym klientom przegląd i ocenę narzędzi w oparciu o ich wymagania i naszą wiedzę na temat tego rynku.
Linki
W temacie testowania sztucznej inteligencji można znaleźć wiele publikacji i prezentacji. Nasze aktualne opracowania tego fascynującego tematu można pobrać w tej sekcji.
Research Survey "Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety
Quality assurance of AI – the dangers lurk above all behind the corners
WSAM: Visual Explanations from Style Augmentation as Adversarial Attacker and Their Influence in Image Classification
Eksperci ds. testowania sztucznej inteligencji
Nasz zespół łączy wiedzę z zakresu zapewnienia jakości z szerokimi kompetencjami w rozwijającej się dziedzinie sztucznej inteligencji i uczenia maszynowego.
Tobias Varlemann
Kierownik działu R&D
Dr Namrata Gurung
Data Scientist
Bettina Stühle-Stein
Senior Test Expert
Dr Michael Mlynarski
CEO
