Testen von künstlicher Intelligenz (KI) und Machine Learning (ML)

Testen von künstlicher Intelligenz (KI) und Machine Learning (ML)

Spezializierte QA Dienstleistung und Kompetenzen

Künstliche Intelligenz ist in aller Munde und hält Einzug in vielfältige Bereiche der Unternehmen. Auch die Testing-Welt, in der wir uns als QualityMinds zu Hause fühlen und die in diesem Zusammenhang oft nur unzulänglich Berücksichtigung findet, wandelt sich und wird durch Machine Learning vor gänzlich neue Herausforderungen gestellt.
QualityMinds Hero Ardee and Hero Aiki

Testen wird nie mehr dasselbe sein

Die Qualität von KI-Systemen ist von entscheidender Bedeutung, gerade wenn ihr Versagen weitreichende Konsequenzen mit sich bringt, wie etwa im Falle des Autonomen Fahrens. Da die KI auf Basis von Daten lernt und es keine klar vorgegebenen und durch den Menschen entwickelte Algorithmen gibt, benötigt der Test gänzlich neue Herangehensweisen. Basierend auf unseren Projekterfahrungen, aber auch generell im Kontext KI-Test anwendbar, haben wir für die Konzeption der Teststrategie und des -designs eine Vielzahl an Fragen identifiziert, die gestellt werden sollten, um eine bedarfsorientierte Teststrategie aufzustellen. Wie komplex dies ist, zeigt sich vor allem in unserem größten KI-Projekt, einem Förderprojekt der Bundesregierung, welches das Ziel verfolgt, eine allgemeingültige Absicherungsmethodik für die KI in autonomen Fahrzeugen zu entwickeln und dabei, soweit wir verantwortlich sind, kritische Ausnahmesituationen sowohl innerhalb des Straßenverkehrs als auch des KI-Systems und der Sensorik systematisch zu berücksichtigen.

Testen von künstlicher Intelligenz (KI) und Machine Learning (ML) - Diagramm (Farbe)
Testen von künstlicher Intelligenz (KI) und Machine Learning (ML) - Consulting

KI Kompetenz

Teststrategie

Die Teststrategie ist der wichtigste Baustein, um effektiv und effizient zu testen. Während das Testen von “traditionellen Systemen” (Web, Mobile, API etc.) auf verschiedenen bestehenden Teststrategien basieren kann, ist dies bei ML-basierten Systemen nicht der Fall. So muss der Fokus vielmehr auf die Daten, deren Struktur, Semantik etc. sowie auf die Datengenerierungstechniken gelegt werden. Wir beraten Produktteams, wie eine solche Teststrategie gestaltet werden kann. Unsere Beratung erfolgt auf agile Art und Weise mit Methoden wie dem OnePager, der 10-Minuten-Teststrategie sowie Risk Storming.

Ausnahmefälle

Beim Testen von ML-basierten Systemen ist die systematische Identifikation von potentiellen Ausnahmefällen (“corner cases”) äußerst relevant. Wir beraten Produktteams bei der Identifikation, dem Design und dem Testen von Sonderfällen und sind sowohl im Trainings- und Testprozess als auch während der Applikationsphase dabei.

Qualität der Testdaten

Beim Testen von ML-basierter Systeme liegt der Fokus deutlich mehr auf Daten als es bei den “traditionellen” Testansätzen der Fall ist. Insbesondere die Betonung von qualitativ hochwertigen Testdaten und datengetriebenen Methoden erfordert ein solides Wissen sowohl im Testdatenmanagement als auch in der Datenwissenschaft. Wir bieten unseren Kund:innen eine Kombination aus beiden Welten, indem wir Methoden und Werkzeuge für das Design und den Aufbau einer Pipeline für Testdaten in Projekten bereitstellen.

Hands-on-Testen

Jede erfolgreiche Teststrategie ist eine Mischung aus sorgfältig ausgearbeiteten Testfällen, Testautomatisierung und explorativen Tests. Vor allem letzteres erfordert ein sehr gutes Verständnis der Domäne und exzellente Testfähigkeiten. Wir bieten unseren Kund:innen eine Reihe exzellenter Testexpert:innen für das explorative Praxistesten, um die wichtigsten Ausnahmesituationen für ML-basierte Systeme zu identifizieren.

ML-basierte Testwerkzeuge

Die verschiedenen aus der Datenwissenschaft und dem maschinellen Lernen bekannten Techniken können auch zur Verbesserung des Testprozesses eingesetzt werden. Der Markt für ML-basierte Testwerkzeuge entwickelt sich langsam. Wir geben unseren Kund:innen einen Überblick und eine Tool-Evaluierung, basierend auf ihren Anforderungen und unseren Kenntnissen dieses Marktes.

Downloads

Zum Thema KI-Testen sind schon zahlreiche Publikationen erschienen. Unsere aktuellen Einblicke in dieses faszinierende Thema kannst du in diesem Bereich finden und herunterladen.

KI Expert:innen von QualityMinds

Unser Team vereint das Wissen über QA und tiefe KI/ML-Expertise in einem Bereich, der zum Teil gerade erst erforscht wird.

Tobias Varlemann

Tobias Varlemann

Lead R&D

Dr. Namrata Gurung

Dr. Namrata Gurung

Data Scientist

Bettina Stühle-Stein

Bettina Stühle-Stein

Senior Test Expert

Dr. Michael Mlynarski

Dr. Michael Mlynarski

CEO

Hast du nicht gefunden, was du suchst?
Schreib uns!

Suchst du nach diesen Diensten in deinem Land?

QualityMinds Heroes