Dostosowanie standardów testowania do świata nauki o danych:
Najlepsze praktyki w zakresie niezawodnej strategii testowania sztucznej inteligencji
Stawmy czoła nowym wyzwaniom w świecie testowania wraz z solidną wiedzą na temat zarządzania danymi – od przetwarzania wstępnego po przypadki narożne
Kontakt Team KI
Śledź nas
Opracowanie solidnej strategii testowania AI z naciskiem na precyzyjną analizę danych.
Zoptymalizuj implementację sztucznej inteligencji za pomocą kompleksowych testów, aby zapewnić niezawodne działanie modeli nawet w trudnych scenariuszach.
Doradzamy w opracowaniu kompleksowej strategii testowania systemów opartych na sztucznej inteligencji i uczeniu maszynowym:
- Wspólne projektowanie strategii testowych
- Identifizieren potentieller Ausnahmefälle (Corner Cases)
- Exzellente Testexpert:innen für das explorative Testen
- Kompleksowa ocena narzędzia
podcast
Jakie dane można wykorzystać do testowania i walidacji sztucznej inteligencji?
QualityHeroes Podcast Folge 18: Unsere Testexpertin Bettina Stühle-Stein berichtet über ein großes IT-Projekt zum autonomen Fahren.
Projekt ochrony AI:
Obudowy narożne
Złożoność testowania sztucznej inteligencji jest szczególnie widoczna w naszym największym projekcie AI, projekcie finansowanym przez rząd niemiecki, którego celem jest opracowanie uogólnionej metodologii walidacji AI w pojazdach autonomicznych. Jesteśmy odpowiedzialni za systematyczne uwzględnianie tak zwanych przypadków narożnych, tj. krytycznych sytuacji wyjątkowych zarówno w ruchu drogowym, jak i w systemie sztucznej inteligencji i technologii czujników.
Więcej informacji o projekcie można znaleźć tutaj: Zakończenie projektu: Ochrona AI – argumentacja bezpieczeństwa dla autonomicznej jazdy w Berlinie.
Ulepszone wykrywanie pieszych za pomocą wizji komputerowej
Opracowano niezawodny proces całościowej oceny różnych funkcji sztucznej inteligencji w celu uzyskania weryfikowalnej argumentacji dotyczącej bezpieczeństwa.
Ukierunkowane szkolenie sztucznej inteligencji z wykorzystaniem nowoczesnych technologii symulacyjnych poprawiło rozpoznawanie pieszych nawet w trudnych warunkach.
Przykład wykrywania pieszych w celu skonfigurowania i zilustrowania łańcucha rozumowania
Testowanie istniejących algorytmów wykrywania pieszych
Identyfikacja krytycznych scenariuszy (przypadków narożnych), np. zmienionego padania światła lub tymczasowo zasłoniętego widoku.
Strategia testowania jest najważniejszym elementem skutecznego i wydajnego testowania systemów opartych na sztucznej inteligencji i uczenia maszynowego.
Podczas gdy testowanie „tradycyjnych systemów” (internetowych, mobilnych, API itp.) może opierać się na różnych istniejących strategiach testowych, nie dotyczy to systemów opartych na uczeniu maszynowym. Zamiast tego należy skupić się na danych, ich strukturze, semantyce itp. oraz technikach generowania danych. Koncepcje testowe stanowią podstawę dla standardów międzyprojektowych w obszarze jakości i testowania. Stanowią one podstawę do opracowywania strategii testowych związanych z projektem i dlatego są jednym z kamieni węgielnych działań testowych. Doradzamy zespołom produktowym, w jaki sposób można zaprojektować taką strategię testową i jak można stworzyć potoki przygotowania i walidacji danych. Nasze doradztwo prowadzone jest w sposób zwinny, z wykorzystaniem metod takich jak OnePager, 10-minutowa strategia testowa i risk storming.
Strategia testowania sztucznej inteligencji
Wyjątkowe przypadki
Obudowy narożne
Beim Testen von KI- und ML-basierten Systemen ist die systematische Identifikation von unerwartetem Verhalten bei Parametern in ihren Maxima (Corner Cases) äußerst relevant.
Wir beraten Produktteams bei der Identifikation und dem Testen von Corner Cases und sind sowohl im Trainings- und Testprozess als auch während der Applikationsphase dabei.
Warsztat
W 5 krokach do strategii testowania sztucznej inteligencji
Strategia testowania sztucznej inteligencji dla firm
Treści edukacyjne są doskonalone podczas wstępnych warsztatów odkrywczych i mogą być uzupełniane i dostosowywane w miarę potrzeb w trakcie podróży. W tym celu zaangażujemy wszystkie istotne role w proces rozwoju na zasadzie interdyscyplinarnej.
Fokus auf den Prozess: Von der Anforderung über die Testdaten zum Produktivsystem.
Analiza ryzyka wzdłuż procesu pochodnego.
Aspektem przekrojowym będzie tutaj tworzenie i wykorzystywanie domeny projektu operacyjnego (ODD) aplikacji, w szczególności w odniesieniu do treści, wskaźników i monitorowania, ryzyka i strategii łagodzenia skutków, wspólnej wiedzy i struktury piramidy testowej.
Indywidualne opracowanie koncepcji testu AI dla projektu.
Opracowanie modułowej strategii testowania sztucznej inteligencji.
Jakość danych testowych
Beim Testen von ML-basierten Systemen liegt der Fokus deutlich mehr auf Daten als es bei den “traditionellen” Testansätzen der Fall ist. Die Qualitätsbewertung der verwendeten Trainings-, Test-, und Validierungsdaten, erfordert sowohl ein solides Wissen der Datenwissenschaft als auch des Datenmanagements.
Wir bieten unseren Kund:innen eine Kombination aus beiden Welten, indem wir Methoden und Werkzeuge für das Design und den Aufbau einer Pipeline für Testdaten in Projekten bereitstellen.
Testy praktyczne
Eine erfolgreiche Teststrategie ist die Guideline für den Testprozess, von Risikoanalyse über Testumgebungen bis hin zur Testausführung. Eine ausgewogene Testausführung ist eine Mischung aus sorgfältig ausgearbeiteten Testfällen, Testautomatisierung und explorativen Tests. Vor allem Letzteres erfordert ein sehr gutes Verständnis der Domäne und exzellente Testfähigkeiten.
Oferujemy naszym klientom szereg doskonałych ekspertów testowych do eksploracyjnych testów terenowych w celu zidentyfikowania najważniejszych wyjątkowych sytuacji dla systemów opartych na ML.
Narzędzia testowe oparte na ML
Różne techniki znane z nauki o danych i uczenia maszynowego mogą być również wykorzystywane do usprawnienia procesu testowania.
Rynek narzędzi testowych opartych na ML powoli ewoluuje. Zapewniamy naszym klientom przegląd i ocenę narzędzi w oparciu o ich wymagania i naszą wiedzę na temat tego rynku.
Zrewolucjonizuj jakość swoich produktów dzięki ekspertom w dziedzinie testów:
Wir sind seit 12 Jahren in der Qualitätssicherung
erfolgreich tätig – unsere Wurzeln liegen im Testing!
Wir sind eine agile Organisation, die sich schnell an
neue Technologien und Marktbedürfnisse anpasst.
Unser Herzblut ist das Testing: #SkillUp – KI-Testing für Tester:innen.
Wir bieten Testing für NonTesters und ML Engineers
podcast
Jak testować uczenie maszynowe?
QualityHeroes Podcast Episode 36: Nasi goście Namrata Gurung i Michael Młynarski omawiają różne metody testowania systemów opartych na AI i ML.
Projekty
Przedstawiamy naszych klientów
Projekt ochrony AI w autonomicznej jeździe
Jest to projekt badawczy finansowany przez Federalne Ministerstwo Gospodarki i Ochrony Klimatu. Opracowywana jest metodologia bezpieczeństwa AI w związku ze zautomatyzowaną jazdą. QualityMinds kierowała pakietem roboczym na temat przypadków narożnych.
UWAGA projekt finansowania
ATTENTION war ein von der deutschen Regierung gefördertes Forschungsprojekt. In Zusammenarbeit mit einem Konsortium aus fünf deutschen Projektpartnern (OEM, Technologiepartner, Forschungsinstitute) wurden Methoden im Bereich autonomes Fahren zur Vorhersage des Verletzungsrisikos in Echtzeit und zur Schadensbegrenzung entwickelt.
Test ML Automotive
Doradztwo i rozwój oprogramowania do planowania testów z wykorzystaniem nadzorowanego uczenia maszynowego. QualityMinds zoptymalizował planowanie testów dla dużego producenta samochodów przy użyciu uczenia maszynowego i opracował wydajne testy oprogramowania sterującego.
Czy masz jakieś pytania?
Skontaktuj się z nami! Z niecierpliwością czekamy na wymianę wiedzy z Tobą.
