// Testen & Qualität

KI-Anwendungen in Java testen und bewerten

Qualitätssicherung für Anwendungen mit Sprachmodellen, von deterministischen Tests bis zur Evaluation.

Was Sie mitnehmen

Sie trennen deterministisch testbare Teile von modellabhängigem Verhalten.
Sie betreiben Ollama mit offenen Modellen über Testcontainers in automatisierten Tests.
Sie bewerten Modellausgaben mit Testdatensätzen und festgelegten Bewertungskriterien.
Sie erkennen Qualitätsverluste bei Modell- oder Prompt-Wechsel durch Regressionstests.

Die Agenda ist die Grundlage. Schwerpunkte und Beispiele stimmen wir vorab auf Ihr Team ab.

Besonderheiten von LLM-Anwendungen: Nichtdeterminismus, Prompt-Abhängigkeit, Modellwechsel
Unit-Tests ohne Modell: Prompt-Aufbau, Parser, Tool-Aufrufe
LangChain4j-Komponenten isolieren: ChatModel-Attrappen und aufgezeichnete Antworten
Ollama-Modul von Testcontainers: Modelle laden, Images mit Modell wiederverwenden
Übung: Integrationstests für einen LangChain4j-AI-Service gegen ein lokales Modell

Testdatensätze aufbauen: Eingaben, erwartete Merkmale, Grenzfälle
Kriterien: exakte Prüfung, Schema-Validierung, semantische Ähnlichkeit, LLM als Bewerter
RAG bewerten: Relevanz der Treffer und Treue zur Quelle
Übung: Bewertungslauf mit Schwellenwerten als Regressionstest in JUnit
Ergebnisse versionieren und in der Build-Pipeline nachverfolgen

// KI als Bestandteil der Anwendung

Ausgaben von Sprachmodellen systematisch bewerten: Testdatensätze, Bewertungskriterien, Regressionstests.

Vorwissen: Erfahrung mit JUnit 5 und mit Java-Anwendungen, die Sprachmodelle nutzen, etwa über LangChain4j. Hardware für lokale Sprachmodelle vorab klären; Container-Laufzeit Podman oder Docker Engine erforderlich.
Werkzeuge: LangChain4j, Testcontainers mit Ollama (Open Source, Apache 2.0 / MIT)
Niveau: Experten & Architektur
Teilnehmende: bis 10 Personen, größere Gruppen auf Anfrage
Durchführung: Remote per Videokonferenz oder bei Ihnen vor Ort
Enthalten: Abstimmung vorab, Unterlagen, Übungsprojekte, Teilnahmebescheinigungen

// Trainer mit langjähriger Softwareentwicklungserfahrung, akademische Ausbildung in Informatik und KI.