LLMs in der Praxis: Anbindung an Jakarta EE mit LangChain4j

Der Kurs liefert einen kurzen Überblick über neuronale Netze und LLMs und fokussiert auf die technische Anbindung von AI-Schnittstellen mithilfe von LangChain4j zur Inferenz. Das Training von AI-Modellen wird nicht im Detail behandelt.

LangChain4j abstrahiert von der konkret verwendeten Schnittstelle, sodass relativ einfach das Modell oder der Anbieter ausgetauscht werden können. Auch lokale Lösungen zum Betrieb von LLMs werden unterstützt, wenn sensible Daten das Unternehmensnetz nicht verlassen dürfen.

Für Übungen und Beispiele im Kurs werden die LLMs lokal betrieben.

Agenda

• Überblick
  • Kurze Einführung in das Thema neuronale Netze
    • Multilayer Perzeptron
      • Motivation: Analogie zu Neuronenstruktur/Nervensystem in Lebewesen
      • Intuitionen zu Deep Layers, Gewichten, Aktivierungsfunktionen
  • Einführung LLMs
    • Generative AI vs. Discriminative AI
    • Überblick über die Struktur
      • GPT = Generative Pre-trained Transformer
      • Embeddings, Attention, Temperature
    • Anwendungsfälle
• Anbindung von LLMs mit LangChain4j zur Inferenz
  • Grundlagen
    • AiServices
    • Input (System Message, User Message, Prompt Templates)
    • (Structured) Output
    • Response Streaming
    • Memory
  • Retrieval Augmented Generation (RAG)
  • Tools/Function calling
  • Quarkus Integration
• Gefahren und Probleme
  • LLMs als stochastische Maschine ohne formale Logik
  • Halluzinationen
  • Prompt Injection
  • Excessive Agency

Teilnehmerkreis und Voraussetzungen

Es werden Grundkenntnisse in Java und Jakarta EE vorausgesetzt.

Dieser Kurs richtet sich an Software-Entwickler*innen, die LLMs zur Inferenz an Enterprise Anwendungen anbinden möchten.