KI-Testing — Wie man nicht-deterministische Software testet

assert response == expected — funktioniert bei LLMs nicht. Die Antwort ist jedes Mal anders, die Formulierung variiert, aber die Bedeutung sollte gleich bleiben. Klassische Unit-Tests versagen bei nicht-deterministischer Software. Wir brauchen ein neues Testing-Paradigma, das Eigenschaften und Ausgabequalitaet validiert statt exakter Uebereinstimmung. Dies ist ein fundamentaler Wandel im Testansatz, der neue Werkzeuge, Metriken und Prozesse erfordert.

Neue Ansaetze¶

Property-based Testing: Testen Sie Eigenschaften, nicht exakte Outputs — die Antwort muss Schluesselfakten enthalten, darf nicht halluzinieren, muss in der geforderten Sprache und im geforderten Format sein. Metamorphes Testing: Eine kleine Aenderung am Input (Umformulierung einer Frage) darf die Fakten in der Antwort nicht aendern. LLM-as-Judge: GPT-4 oder Claude evaluiert Antworten anhand einer Rubrik — bewertet Relevanz, Genauigkeit, Vollstaendigkeit und Toxizitaet. Ein automatisierter Evaluator ersetzt menschliche Bewertung fuer die meisten Iterationen.

Evaluierungs-Pipeline¶

• Golden Dataset: 100+ Frage/Antwort-Paare, die Schluesselszenarien und Edge Cases abdecken
• Automatischer Lauf: Evaluierung bei jedem PR oder Nightly Build, Ergebnisse im CI-Dashboard
• Metriken: Faithfulness (entspricht Quellen), Relevanz (beantwortet die Frage), Toxizitaet (Sicherheit)
• Regressionserkennung: Alert bei Score-Abfall von mehr als 5 % — verhindert stille Verschlechterung

Integrieren Sie die Pipeline in CI/CD — ein Merge Request mit neuem Prompt oder Konfiguration durchlaeuft die Evaluierung genauso wie Code Tests durchlaeuft. Ragas, DeepEval und TruLens sind Open-Source-Frameworks fuer automatisierte Evaluierung.

Red Teaming¶

Automatisiertes Adversarial Testing deckt Schwachstellen auf: Prompt Injection (Angreifer manipuliert System-Prompt), Jailbreak (Umgehung von Sicherheitsbeschraenkungen), PII-Leakage (Modell gibt personenbezogene Daten aus Trainingsdaten preis). Fuehren Sie es regelmaessig in CI aus, nicht einmalig — neue Modellversionen koennen neue Schwachstellen einfuehren.

KI-Testing ist Software-Testing 2.0¶

Property-based Tests + LLM-as-Judge + automatisierte Evaluierungs-Pipeline = produktionsreifes AI-System. Investitionen in die Testinfrastruktur zahlen sich in Qualitaet und Zuverlaessigkeit der AI-Features aus.