// Java & KI-Anwendungen

Lokale Sprachmodelle aus Java betreiben

KI ohne Cloud: Datenschutzfreundliche Inferenz im eigenen Netz.

  • Inhouse-Schulung
  • 1 Tag
  • Experten & Architektur
  • Remote oder vor Ort
  • KI-Anwendung
Sortierte Papierstapel, davor einige herausgezogene Blätter mit Büroklammer und eine Lesebrille
Symbolbild · KI-generiert

Was Sie mitnehmen

  • Sie wählen offene Modelle mit freier Lizenz passend zu Aufgabe und Hardware aus.
  • Sie schätzen den Hardwarebedarf abhängig von Modellgröße und Quantisierung ab.
  • Sie betreiben Modelle mit Ollama im eigenen Netz und sprechen sie aus Java an.
  • Sie führen Inferenz mit Jlama direkt in der JVM aus.

Agenda

Die Agenda ist die Grundlage. Schwerpunkte und Beispiele stimmen wir vorab auf Ihr Team ab.

Vormittag

  • Offene Modelle und ihre Lizenzen: freie Lizenzen und Nutzungsbeschränkungen
  • Modellwahl: gpt-oss, Qwen, Mistral Small nach Aufgabe und Größe
  • Quantisierung: GGUF, 4 bis 8 Bit, Auswirkungen auf Qualität und Speicherbedarf
  • Übung: Modelle in Ollama vergleichen und Ressourcenverbrauch messen

Nachmittag

  • Ollama im Betrieb: REST-API, Container mit Podman, GPU-Nutzung, Parallelität
  • Anbindung aus Java über LangChain4j oder den HTTP-Client des JDK
  • Jlama: Inferenz in der JVM mit der Vector API
  • Übung: Java-Dienst mit lokalem Modell im eigenen Netz bereitstellen

KI in dieser Schulung

// KI als Bestandteil der Anwendung

Offene Modelle mit freier Lizenz lokal betreiben: Auswahl, Quantisierung, Hardwarebedarf.

Voraussetzungen und Rahmen

Vorwissen
Sehr gute Java-Kenntnisse. Die Hardware für die Übungen stimmen wir vorab mit Ihnen ab.
Werkzeuge
Ollama, Jlama (Open Source, MIT / Apache 2.0)
Niveau
Experten & Architektur
Teilnehmende
bis 10 Personen, größere Gruppen auf Anfrage
Durchführung
Remote per Videokonferenz oder bei Ihnen vor Ort
Enthalten
Abstimmung vorab, Unterlagen, Übungsprojekte, Teilnahmebescheinigungen

// Trainer mit langjähriger Softwareentwicklungserfahrung, akademische Ausbildung in Informatik und KI.