Testen von künstlicher Intelligenz (KI) und Machine Learning (ML)
Spezializierte QA Dienstleistung und Kompetenzen
Testen wird nie mehr dasselbe sein
Die Qualität von KI-Systemen ist von entscheidender Bedeutung, gerade wenn ihr Versagen weitreichende Konsequenzen mit sich bringt, wie etwa im Falle des Autonomen Fahrens. Da die KI auf Basis von Daten lernt und es keine klar vorgegebenen und durch den Menschen entwickelte Algorithmen gibt, benötigt der Test gänzlich neue Herangehensweisen. Basierend auf unseren Projekterfahrungen, aber auch generell im Kontext KI-Test anwendbar, haben wir für die Konzeption der Teststrategie und des -designs eine Vielzahl an Fragen identifiziert, die gestellt werden sollten, um eine bedarfsorientierte Teststrategie aufzustellen. Wie komplex dies ist, zeigt sich vor allem in unserem größten KI-Projekt, einem Förderprojekt der Bundesregierung, welches das Ziel verfolgt, eine allgemeingültige Absicherungsmethodik für die KI in autonomen Fahrzeugen zu entwickeln und dabei, soweit wir verantwortlich sind, kritische Ausnahmesituationen sowohl innerhalb des Straßenverkehrs als auch des KI-Systems und der Sensorik systematisch zu berücksichtigen.
KI Kompetenz
Teststrategie
Die Teststrategie ist der wichtigste Baustein, um effektiv und effizient zu testen. Während das Testen von “traditionellen Systemen” (Web, Mobile, API etc.) auf verschiedenen bestehenden Teststrategien basieren kann, ist dies bei ML-basierten Systemen nicht der Fall. So muss der Fokus vielmehr auf die Daten, deren Struktur, Semantik etc. sowie auf die Datengenerierungstechniken gelegt werden. Wir beraten Produktteams, wie eine solche Teststrategie gestaltet werden kann. Unsere Beratung erfolgt auf agile Art und Weise mit Methoden wie dem OnePager, der 10-Minuten-Teststrategie sowie Risk Storming.
Ausnahmefälle
Beim Testen von ML-basierten Systemen ist die systematische Identifikation von potentiellen Ausnahmefällen (“corner cases”) äußerst relevant. Wir beraten Produktteams bei der Identifikation, dem Design und dem Testen von Sonderfällen und sind sowohl im Trainings- und Testprozess als auch während der Applikationsphase dabei.
Qualität der Testdaten
Beim Testen von ML-basierter Systeme liegt der Fokus deutlich mehr auf Daten als es bei den “traditionellen” Testansätzen der Fall ist. Insbesondere die Betonung von qualitativ hochwertigen Testdaten und datengetriebenen Methoden erfordert ein solides Wissen sowohl im Testdatenmanagement als auch in der Datenwissenschaft. Wir bieten unseren Kund:innen eine Kombination aus beiden Welten, indem wir Methoden und Werkzeuge für das Design und den Aufbau einer Pipeline für Testdaten in Projekten bereitstellen.
Hands-on-Testen
Jede erfolgreiche Teststrategie ist eine Mischung aus sorgfältig ausgearbeiteten Testfällen, Testautomatisierung und explorativen Tests. Vor allem letzteres erfordert ein sehr gutes Verständnis der Domäne und exzellente Testfähigkeiten. Wir bieten unseren Kund:innen eine Reihe exzellenter Testexpert:innen für das explorative Praxistesten, um die wichtigsten Ausnahmesituationen für ML-basierte Systeme zu identifizieren.
ML-basierte Testwerkzeuge
Die verschiedenen aus der Datenwissenschaft und dem maschinellen Lernen bekannten Techniken können auch zur Verbesserung des Testprozesses eingesetzt werden. Der Markt für ML-basierte Testwerkzeuge entwickelt sich langsam. Wir geben unseren Kund:innen einen Überblick und eine Tool-Evaluierung, basierend auf ihren Anforderungen und unseren Kenntnissen dieses Marktes.
Downloads
Zum Thema KI-Testen sind schon zahlreiche Publikationen erschienen. Unsere aktuellen Einblicke in dieses faszinierende Thema kannst du in diesem Bereich finden und herunterladen.
Research Survey "Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety
Qualitätssicherung von KI – Die Gefahren lauern vor allem hinter den Ecken
Corner Cases und ihre Tücken
Highly Automated Corner Cases Extraction: Using Gradient Boost Quantile Regression for AI Quality Assurance
WSAM: Visual Explanations from Style Augmentation as Adversarial Attacker and Their Influence in Image Classification
Context-Based Interpretable Spatio-Temporal Graph Convolutional Network for Human Motion Forecasting
KI Expert:innen von QualityMinds
Unser Team vereint das Wissen über QA und tiefe KI/ML-Expertise in einem Bereich, der zum Teil gerade erst erforscht wird.
Tobias Varlemann
Lead R&D
Dr. Namrata Gurung
Data Scientist
Bettina Stühle-Stein
Senior Test Expert
Dr. Michael Mlynarski
CEO