AI Testing

Sie möchten KI nicht nur verstehen, sondern einen Schritt weiter gehen und auch ihre Qualität sichern und lernen, wie man ML-Modelle testet? Dieses Training führt Sie zunächst durch KI- und Machine Learning-Grundlagen sowie durch unterschiedliche Spezifikationen, Daten und Kennzahlen. Anschließend erlernen Sie Techniken und Testverfahren, um KI-Systeme zu testen.

Zertifizierung nach ISTQB möglich Advanced

Show dates

Goals

Einführung in die Künstliche Intelligenz und Verständnis über Machine Learning
Verstehen, welche Qualitätsmerkmale für KI-Systeme bestehen
Überblick über verschiedene Testsysteme und Qualitätsmerkmale testen
Methodiken für das Testen KI-basierter Systeme
Welche Testumgebung benötigt der Einsatz von KI für Test Anwendungsfälle

Target Groups

Usability Expert AI Expert Testmanager Tester Test Automation Specialist Testingenieur Product Owner und alle, die sich mit dem Testen von und mit künstlicher Intelligenz beschäftigen möchten

Inhalt

1. Einführung in die Künstliche Intelligenz (KI)

Definition zur KI und KI-Effekte
Narrow, General und Super-KI
KI-basierte und konventionelle Systeme
KI-Technologien
KI-Entwicklungs-Frameworks
Hardware für KI-basierte Systeme
AI as a Service (AIaaS)
Pre-trained models
Standards und Vorschriften zur AI

2. Qualitätsmerkmale für KI-basierte Systeme

Flexibilität und Anpassungsfähigkeit
Autonomie
Evolution
Bias
Ethik
Begleiterscheinungen und reward hacking
Transparenz, Interpretation und Erklärbarkeit
Sicherheit und KI

3. Machine Learning (ML) – Überblick

Formen des maschinellen Lernens
ML-Workflow
Eine Form der ML auswählen
Einflussfaktoren bei der Auswahl von ML-Algorithmen
Overfitting und Underfitting

4. ML – Daten

Datenaufbereitung als Teil des ML-Workflows
Trainings-, Validierungs- und Testdatensätze im ML-Workflow
Qualitätsprobleme im Datensatz
Datenqualität und ihre Auswirkungen auf das ML-Modell
Data labeling für supervised learning

5. ML-Leistungskennzahlen

Confusion Matrix
ML-Leistungskennzahlen für die Klassifikation, die Regression und das Clustering
Grenzen der ML-Leistungskennzahlen
ML-Leistungskennzahlen auswählen
Benchmark suites für ML-Leistungskennzahlen

6. KI-basierte Systeme testen – Überblick

Spezifikation von KI-basierten Systemen
Teststufen für KI-basierte Systeme
Testdaten für das Testen KI-basierter Systeme
Automatisierungs-Bias in KI-basierten Systemen testen
KI-Elemente dokumentieren
Concept drift testen
Auswahl eines Testansatzes für ein ML-System

7. KI-spezifische Qualitätsmerkmale testen

Herausforderungen beim Testen selbstlernender Systeme
Autonome selbstlernende Systeme testen
Algorithmischen, stichprobenbezogenen und unangemessenen Bias testen
Herausforderungen beim Testen probabilistischer und nicht-deterministischer KI-basierter Systeme
Herausforderungen beim Testen komplexer KI-basierter Systeme
Transparenz, Interpretation und Erklärbarkeit KI-basierter Systeme testen
Test-Orakel für KI-basierte Systeme
Testziele und Akzeptanzkriterien

8. Methoden und Techniken für das Testen KI-basierter Systeme

Adversarial attacks und data poisoning
Pairwise testing
A/B testing
Back-to-Back Testing
Metamorphic Testing (MT)
Erfahrungsbasiertes Testen von KI-basierten Systemen
Auswahl von Testtechniken für KI-basierte Systeme

9. Testumgebungen für KI-basierte Systeme

Testumgebungen für KI-basierte Systeme
Virtuelle Testumgebungen, um KI-basierte Systeme zu testen

10. Einsatz von KI für das Testen

KI-Technologien für das Testen
Einsatz von KI zur Analyse von Fehlerberichten
Einsatz von KI für die Generierung von Testfällen
Einsatz von KI zur Optimierung von Regressionstests
Einsatz von KI für Fehlerprognosen
Einsatz von KI für das Testen von Benutzeroberflächen

Zertifizierung

Für dieses Training ist die Zertifizierung nach ISTQB möglich.

More information on certifications

Certified Trainings

Internationally recognized certifications for your career.

Experienced Trainers

Learn from competent experts with practical experience.

Flexible Formats

Webinars, video trainings or on-site – exactly as you need it.