Apache Kafka Workshop - Seminar / Kurs von GFU Cyrus AG

• Grundlagen von Apache Kafka
  • Messaging im Unternehmenskontext
    • Service-to-Service Communication
    • Streams vs. REST-Interfaces
    • Event-Driven-Communication
  • System-Architektur
  • Producer & Consumer
  • Topics & Partitionen
• Advanced Knowledge - Erweiterte Apache Kafka-Themen
  • Replication
  • Retention & Log Compaction
  • Serialisierung mit Avro vs. ProtoBuf, Thrift
  • Verwenden der Kafka-Schema-Registry
  • KSQL
  • Kafka Cluster 
  • Confluent Schema Registry 
  • Kafka Security 
• Best Practises
  • Konfiguration von Topics
  • DSGVO
• Apache Kafka in der Anwendung: Beispielhafte Use-Cases
  • Microservices
  • Big Data
• Workshop
  • Aufsetzen einer lokalen Entwicklungsumgebung mit docker-compose
  • Programmierung eines Producers in Java oder Kotlin
  • Programmierung eines Consumers in Java oder Kotlin
  • Integration Testing in Java oder Kotlin
  • Kafka Streams API

Anmerkung: Die Consumer- und Producer-Schnittstellen basieren auf dem Kafka-Nachrichtenprotokoll und können als Referenzimplementierung in Java angesehen werden. Das eigentliche Kafka-Nachrichtenprotokoll ist ein binäres Protokoll und erlaubt es damit, Consumer- und Producer-Clients in jeder beliebigen Programmiersprache zu entwickeln. Damit ist Kafka nicht an das JVM-Ökosystem gebunden.

Sie haben Strategien für das Nachrichten-Routing, die Serialisierung und Deserialisierung sowie Messaging-Strategien erörtert, die für Data-Lake-Umgebungen hilfreich sind, einschließlich Best Practices. Der Workshop behandelt auch die Instrumentierung und Überwachung der Leistung von Kafka-Anwendungen und enthält Fallstudien aus der Praxis, in denen geeignete Metriken wichtige Produktionsprobleme in einer großen technischen Organisation gelöst haben.

Das Seminar richtet sich an Entwickler und DevOps, die mit Apache Kafka als Distributed Streaming Platform arbeiten wollen. Es wird erwartet, dass die Teilnehmer bereits elementare Erfahrung mit Kafka haben. Im Zweifelsfall werden die Grundlagen kurz behandelt auf Kosten der User-Cases. Grundlegende Kenntnisse und Erfahrungen mit Linux und Docker sind von Vorteil, aber nicht notwendig, um die Übungen durchzuführen. Ein grundlegendes Verständnis von Java wird für diesen Kurs empfohlen, da alle Übungen mit dieser Technologie durchgeführt werden.