Testing-Standards für die Welt der Datenwissenschaft adaptieren: Best Practices für eine zuverlässige KI-Teststrategie
KÜNSTLICHE INTELLIGENZ UND MACHINE LEARNING
Stellen wir uns gemeinsam den neuen Herausforderungen in der Testing-Welt durch solides Wissen aus Datenwissenschaft und Datenmanagement – von Pre-Processing bis hin zu Corner Cases
Entwickle eine robuste KI-Teststrategie mit Fokus auf präziser Datenanalyse. Optimiere deine KI-Implementierung durch umfassende Tests, um sicherzustellen, dass deine Modelle auch in herausfordernden Szenarien zuverlässig performen.
Wir beraten dich bei der Entwicklung einer umfassenden Teststrategie für KI- und Machine-Learningbasierte Systemen:
- Gemeinsames gestalten von KI-Teststrategien
- Identifizieren potentielle Ausnahmefälle (Corner Cases)
- Exzellenter Testexpert:innen für das explorative Praxistesten
- Umfassende Tool-Evaluierung
How can you test machine learning? (Folge auf EN)
QualityHeroes Podcast Folge 36: Unsere Gäste Namrata Gurung und Michael Mlynarski diskutieren verschiedene Methoden KI- und ML-basierte Systeme zu testen.
Mit welchen Daten kann man eine KI testen und absichern?
QualityHeroes Podcast Folge 18: Bettina Stühle-Stein berichtet über ein großes IT-Projekt zum autonomen Fahren.
Projekt KI-Absicherung
Wie komplex das Testen von Künstlicher Intelligenz ist, zeigt sich vor allem in unserem größten KI-Projekt, einem Förderprojekt der Bundesregierung, welches das Ziel verfolgt, eine allgemeingültige Absicherungsmethodik für die KI in autonomen Fahrzeugen zu entwickeln.
Dabei sind wir für dafür verantwortlich sogenannte Corner Cases, also kritische Ausnahmesituationen sowohl innerhalb des Straßenverkehrs als auch innerhalb des KI-Systems und der Sensorik systematisch zu berücksichtigen.
Weitere Infos zum Projekt findest du hier: Abschluss des Projektes: KI-Absicherung – Sicherheitsargumentation für autonomes Fahren in Berlin.
Unser Angebot im Testing von Künstlicher Intelligenz
→ KI-TESTSTRATEGIE
Die Test-Strategie ist der wichtigste Baustein, um effektiv und effizient KI- und ML-basierte Systeme zu testen. Während das Testen von “traditionellen Systemen” (Web, Mobile, API etc.) auf verschiedenen bestehenden Teststrategien basieren kann, ist dies bei Machine-Learning-basierten Systemen nicht der Fall. So muss der Fokus vielmehr auf die Daten, deren Struktur, Semantik etc. sowie auf die Datengenerierungstechniken gelegt werden.
Testkonzepte bilden die Grundlage für projektübergreifende Standards im Bereich Qualität und Testing. Sie bilden die Grundlage zur projektbezogenen Ableitung von Teststrategien und bilden damit einen der Grundpfeiler der Testaktivitäten. Wir beraten Produktteams, wie eine solche Teststrategie gestaltet werden kann und wie Datenaufbereitungs- und Validierungsspipelines erstellt werden können. Unsere Beratung erfolgt auf agile Art und Weise mit Methoden wie dem OnePager, der 10-Minuten-Teststrategie sowie Risk Storming.
→ AUSNAHMEFÄLLE – CORNER CASES
Beim Testen von KI- und ML-basierten Systemen ist die systematische Identifikation von potenziellen Ausnahmefällen, den “Corner Cases” äußerst relevant.
Wir beraten Produktteams bei der Identifikation, dem Design und dem Testen von Corner Cases und sind sowohl im Trainings- und Testprozess als auch während der Applikationsphase dabei.
→ QUALITÄT DER TESTDATEN
Beim Testen von ML-basierter Systeme liegt der Fokus deutlich mehr auf Daten als es bei den “traditionellen” Testansätzen der Fall ist. Die Qualitätsbewertung der verwendeten Trainings-, Test-, und Validierungsdaten, erfordert sowohl ein solides Wissen der Datenwissenschaft als auch des Datenmanagements.
Wir bieten unseren Kund:innen eine Kombination aus beiden Welten, indem wir Methoden und Werkzeuge für das Design und den Aufbau einer Pipeline für Testdaten in Projekten bereitstellen.
→ HANDS-ON TESTEN
Jede erfolgreiche Teststrategie ist eine Mischung aus sorgfältig ausgearbeiteten Testfällen, Testautomatisierung und explorativen Tests. Vor allem letzteres erfordert ein sehr gutes Verständnis der Domäne und exzellente Testfähigkeiten.
Wir bieten unseren Kund:innen eine Reihe exzellenter Testexpert:innen für das explorative Praxistesten, um die wichtigsten Ausnahmesituationen für ML-basierte Systeme zu identifizieren.
→ ML-BASIERTE TESTWERKZEUGE
Die verschiedenen aus der Datenwissenschaft und dem maschinellen Lernen bekannten Techniken können auch zur Verbesserung des Testprozesses eingesetzt werden.
Der Markt für ML-basierte Testwerkzeuge entwickelt sich langsam. Wir geben unseren Kund:innen einen Überblick und eine Tool-Evaluierung, basierend auf ihren Anforderungen und unseren Kenntnissen dieses Marktes.
→ Workshop: Lernreise KI-Teststrategie für Unternehmen
Die Lerninhalte werden durch einen initialen Discovery-Workshop geschärft und können im Reiseverlauf noch bedarfsgerecht ergänzt und angepasst werden. Hierfür werden wir interdisziplinär alle relevanten Rollen des Entwicklungsprozesses einbeziehen.
Folgende Inhalte werden vermittelt:
- Prozessableitung: Von der Anforderung über die Testdaten zum Produktivsystem
- Risikoanalyse entlang des abgeleiteten Prozesses
- Ein inhaltübergreifender Aspekt wird hier die Erstellung und Verwendung der Operational Design Domain (ODD) der Anwendung sein, insbesondere bei den Inhalten, Metriken und Monitoring, Risiken und Mitigierungsstrategien, gemeinsames Wissen und Aufbau der Testpyramide.
- Individueller Aufbau eines KI-Testkonzepts für das Projekt
- Ableitung einer modularen KI-Teststrategie
- Unterstützung bei der Einführung bedarfsorientierter Metriken und Monitoring
- Umsetzung von Shift Left Ansätzen, z.B. CI/CD Pipelines und Unit Tests im KI-Bereich
- Mitgierungsstrategien für die Risiken
- Schematischer Aufbau einer individuell angepassten Testpyramide
Referenzen im Bereich KI-Testing
Projekt KI-Absicherung im autonomen Fahren
Hier handelt es sich um ein Forschungsprojekt gefördert vom Bundesministerium für Wirtschaft und Klimaschutz.
Förderprojekt ATTENTION
Rainforest Connection
Test ML – Automotive
Veröffentlichungen im Bereich KI-Testing
Research Survey "Inspect, Understand, Overcome: A Survey of Practical Methods for AI Safety
The use of deep neural networks (DNNs) in safety-critical applications like mobile health and autonomous driving is challenging due to numerous model-inherent shortcomings.
German Testing Magazine – Die Gefahren lauern an allen Ecken
In diesem Artikel stellen wir konkrete Beispiele von KI-spezifischen Corner Cases, eine Taxonomie als Teil dieser Methodik und die wichtigsten Erkenntnisse für das Testen von Computer Vision vor.
Highly Automated Corner Cases Extraction: Using Gradient Boost Quantile Regression for AI Quality Assurance
This work introduces a method for Quality Assurance of Artificial Intelligence (AI) Systems, which identifies and characterizes “corner cases”. Here, corner cases are intuitively defined as “inputs yielding an unexpectedly bad AI performance”.
WSAM: Visual Explanations from Style Augmentation as Adversarial Attacker and Their Influence in Image Classification
This paper outlines a style augmentation algorithm using stochastic-based sampling with noise addition for randomization im- provement on a general linear transformation for style transfer.
Context-Based Interpretable Spatio-Temporal Graph Convolutional Network for Human Motion Forecasting
In this work, we present a Context-based Interpretable Spatio-Temporal Graph Convolutional Network (CIST-GCN), as an efficient 3D human pose forecasting model based on GCNs that encompasses specific layers, aiding model interpretability and providing information that might be useful when analyzing motion distribution and body behavior.
Podcast: Kurz KI-Qualitätssicherung und Testing für Künstliche Intelligenz
Michael Mlynarski ist CEO von QualityMinds und sorgt mit seinem Team dafür, dass die Qualität in den KI-Anwendungen hoch bleibt – Testing ist das Stichwort. Da die KI auf Basis von Daten lernt und es keine klar vorgegebenen und durch den Menschen entwickelte Algorithmen gibt, benötigt der Test gänzlich neue Herangehensweisen. Wie das geht, erklärt er im Podcast Gespräch.
Bereit mit uns durchzustarten?
DEINE ANSPRECHPARTNER
Tobias Varlemann
Lead R&D
Dr. Namrata Gurung
Data Scientist
Bettina Stühle-Stein
Senior Test Expert
Dr. Michael Mlynarski
CEO
Irgendwelche Fragen?
Kontaktiere uns!
Wir freuen uns darauf, viele Möglichkeiten mit dir zu teilen!
