Testing-Standards für die Welt der
Datenwissenschaft adaptieren:
Best Practices für
eine zuverlässige
KI-Teststrategie
Stellen wir uns gemeinsam den neuen Herausforderungen in der Testing-Welt durch solides Wissen aus dem Datenmanagement – von Pre-Processing bis hin zu Corner Cases
Jetzt anfragen
Folge uns
Entwickle eine robuste KI-Teststrategie mit Fokus auf präziser Datenanalyse.
Optimiere deine KI-Implementierung durch umfassende Tests, um sicherzustellen, dass deine Modelle auch in herausfordernden Szenarien zuverlässig performen.
Wir beraten dich bei der Entwicklung einer umfassenden Teststrategie für KI- und Machine-Learningbasierte Systemen:
- Gemeinsames gestalten von Teststrategien
- Identifizieren potentieller Ausnahmefälle (Corner Cases)
- Exzellente Testexpert:innen für das explorative Testen
- Umfassende Tool-Evaluierung
podcast
Mit welchen Daten kann man eine KI Testen und absichern?
QualityHeroes Podcast Folge 18: Unsere Testexpertin Bettina Stühle-Stein berichtet über ein großes IT-Projekt zum autonomen Fahren.
Projekt KI-Absicherung:
Corner Cases
Wie komplex das Testen von Künstlicher Intelligenz ist, zeigt sich vor allem in unserem größten KI-Projekt, einem Förderprojekt der Bundesregierung, welches das Ziel verfolgt, eine allgemeingültige Absicherungsmethodik für die KI in autonomen Fahrzeugen zu entwickeln. Dabei sind wir für dafür verantwortlich sogenannte Corner Cases, also kritische Ausnahmesituationen sowohl innerhalb des Straßenverkehrs als auch innerhalb des KI-Systems und der Sensorik systematisch zu berücksichtigen.
Weitere Infos zum Projekt findest du hier: Abschluss des Projektes: KI-Absicherung – Sicherheitsargumentation für autonomes Fahren in Berlin.
Verbesserte Fußgängererkennung mit Computer Vision
Für eine nachweisbare Sicherheitsargumentation wurde ein verlässlicher Prozess zur ganzheitlichen Bewertung der verschiedenen KI-Funktionen erarbeitet.
Durch ein gezieltes Training der KI mit modernen Simulationstechnologien wurde die Fußgängererkennung auch unter erschwerten Bedingungen verbessert.
Beispiel Fußgängererkennung zum Aufbau und zur
Veranschaulichung der Argumentationskette
Prüfung existierender Algorithmen
zur Fußgängerdetektion
Identifizierung kritischer Szenarien (Corner Cases),
z.B. veränderter Lichteinfall oder temporär verdeckte Sicht
Die Test-Strategie ist der wichtigste Baustein, um effektiv und effizient KI- und ML-basierte Systeme zu testen.
Während das Testen von “traditionellen Systemen” (Web, Mobile, API etc.) auf verschiedenen bestehenden Teststrategien basieren kann, ist dies bei Machine-Learning-basierten Systemen nicht der Fall. So muss der Fokus vielmehr auf die Daten, deren Struktur, Semantik etc. sowie auf die Datengenerierungstechniken gelegt werden. Testkonzepte bilden die Grundlage für projektübergreifende Standards im Bereich Qualität und Testing. Sie bilden die Grundlage zur projektbezogenen Ableitung von Teststrategien und bilden damit einen der Grundpfeiler der Testaktivitäten. Wir beraten Produktteams, wie eine solche Teststrategie gestaltet werden kann und wie Datenaufbereitungs- und Validierungsspipelines erstellt werden können. Unsere Beratung erfolgt auf agile Art und Weise mit Methoden wie dem OnePager, der 10-Minuten-Teststrategie sowie Risk Storming.
KI-Teststrategie
Ausnahmefälle
Corner Cases
Beim Testen von KI- und ML-basierten Systemen ist die systematische Identifikation von unerwartetem Verhalten bei Parametern in ihren Maxima (Corner Cases) äußerst relevant.
Wir beraten Produktteams bei der Identifikation und dem Testen von Corner Cases und sind sowohl im Trainings- und Testprozess als auch während der Applikationsphase dabei.
Workshop
In 5 Steps zu deiner
KI-Teststrategie
Lernreise KI-Teststrategie für Unternehmen
Die Lerninhalte werden durch einen initialen Discovery-Workshop geschärft und können im Reiseverlauf noch bedarfsgerecht ergänzt und angepasst werden. Hierfür werden wir interdisziplinär alle relevanten Rollen des Entwicklungsprozesses einbeziehen.
Fokus auf den Prozess: Von der Anforderung über die Testdaten zum Produktivsystem.
Risikoanalyse entlang des abgeleiteten Prozesses.
Ein inhaltübergreifender Aspekt wird hier die Erstellung und Verwendung der Operational Design Domain (ODD) der Anwendung sein, insbesondere bei den Inhalten, Metriken und Monitoring, Risiken und Mitigierungsstrategien, gemeinsames Wissen und Aufbau der Testpyramide.
Individueller Aufbau eines KI-Testkonzepts für das Projekt.
Ableitung einer modularen KI-Teststrategie.
Qualität der Testdaten
Beim Testen von ML-basierten Systemen liegt der Fokus deutlich mehr auf Daten als es bei den “traditionellen” Testansätzen der Fall ist. Die Qualitätsbewertung der verwendeten Trainings-, Test-, und Validierungsdaten, erfordert sowohl ein solides Wissen der Datenwissenschaft als auch des Datenmanagements.
Wir bieten unseren Kund:innen eine Kombination aus beiden Welten, indem wir Methoden und Werkzeuge für das Design und den Aufbau einer Pipeline für Testdaten in Projekten bereitstellen.
Hands-on Testen
Eine erfolgreiche Teststrategie ist die Guideline für den Testprozess, von Risikoanalyse über Testumgebungen bis hin zur Testausführung. Eine ausgewogene Testausführung ist eine Mischung aus sorgfältig ausgearbeiteten Testfällen, Testautomatisierung und explorativen Tests. Vor allem Letzteres erfordert ein sehr gutes Verständnis der Domäne und exzellente Testfähigkeiten.
Wir bieten unseren Kund:innen eine Reihe exzellenter Testexpert:innen für das explorative Praxistesten, um die wichtigsten Ausnahmesituationen für ML-basierte Systeme zu identifizieren.
ML-basierte Testwerkzeuge
Die verschiedenen aus der Datenwissenschaft und dem maschinellen Lernen bekannten Techniken können auch zur Verbesserung des Testprozesses eingesetzt werden.
Der Markt für ML-basierte Testwerkzeuge entwickelt sich langsam. Wir geben unseren Kund:innen einen Überblick und eine Tool-Evaluierung, basierend auf ihren Anforderungen und unseren Kenntnissen dieses Marktes.
Revolutioniere deine
Produkt-Qualität mit Testexperten:
Wir sind seit 12 Jahren in der Qualitätssicherung
erfolgreich tätig – unsere Wurzeln liegen im Testing!
Wir sind eine agile Organisation, die sich schnell an
neue Technologien und Marktbedürfnisse anpasst.
Unser Herzblut ist das Testing: #SkillUp – KI-Testing für Tester:innen.
Wir bieten Testing für NonTesters und ML Engineers
podcast
How can you test machine learning?
QualityHeroes Podcast Folge 36: Unsere Gäste Namrata Gurung und Michael Mlynarski diskutieren verschiedene Methoden KI- und ML-basierte Systeme zu testen.
Projekte
Wir stellen unsere Kunden vor
Projekt KI Absicherung im autonomen Fahren
Hier handelt es sich um ein Forschungsprojekt gefördert vom Bundesministerium für Wirtschaft und Klimaschutz. Es wird eine Methodik für die KI–Sicherheit im Zusammenhang mit automatisiertem Fahren entwickelt. QualityMinds leitete das Arbeitspaket zum Thema Corner Cases.
Förderprojekt ATTENTION
ATTENTION war ein von der deutschen Regierung gefördertes Forschungsprojekt. In Zusammenarbeit mit einem Konsortium aus fünf deutschen Projektpartnern (OEM, Technologiepartner, Forschungsinstitute) wurden Methoden im Bereich autonomes Fahren zur Vorhersage des Verletzungsrisikos in Echtzeit und zur Schadensbegrenzung entwickelt.
Test ML
Automotive
Beratung und Entwicklung einer Testplanungssoftware unter Verwendung von Supervised Machine Learning. QualityMinds optimierte für einen großen Automobilhersteller die Testplanung durch maschinelles Lernen und entwickelte effiziente Tests für die Steuerungssoftware.
Hast du Fragen?
Kontaktiere uns! Wir freuen uns darauf Wissen mit dir auszutauschen.
