Apache Airflow Einführung und Grundlagen - Seminar / Kurs von GFU Cyrus AG

• DAGs erstellen - Directed Acyclic Graph
  •  Geheimnisse, Verbindungen und Variablen
  •  Erstellen von Verbindungen beim Starten
  •  Verwendung von Pools für langlaufende und anspruchsvolle Aufgaben
  •  Simulation lang laufender Tasks
  •  DAG-Serialisierung
  •  DAG-Versionierung
  •  Testen von DAGs
  •  CI/CD in Airflow
• DAGs modularisieren
  •  TaskGroups gegenüber subDAGs
  •  TaskFlowAPI und XComs
  •  Modularisierung
  •  Dynamische und funktionale DAGs
  •  SmartSensors und Zeitüberschreitungen
• Airflow-Sicherheit
  •  RBAC in Airflow
  •  Einrichten der OAuth-Authentifizierung
  •  Google OAuth hinzufügen
  •  Hinzufügen von SSL-Zertifikaten
  •  Standard-Rollen und benutzerdefinierte Rollen
  •  Erstellen einer benutzerdefinierten Rolle
• Airflow in Kubernetes
  •  Das Helm-Diagramm
  •  Bereitstellung von Airflow mit Helm
  •  Bereitstellen einzelner Aufgaben in Kubernetes: KubernetesPodOperator
  •  Hinzufügen einer Aufgabe in Kubernetes
  •  Skalierung von Airflow mit Kubernetes-Executor
  •  Ändern der Helm-Diagrammwerte
  •  KEDA-Autoscaler
  •  Vorbereiten von DAGs für Kubernetes
  •  Vollständige Erstellung einer DAG in Kubernetes

Anmerkung: Kubeflow ist sicherlich das modernere Workflow System mit besserer Integration in Kubernetes und Google Cloud. Anwender von Kubeflow berichten allerdings von Differenzen zwischen Beschreibung und Wirklichkeit, siehe: datarevenue.com/de-blog/kubeflow-noch-nicht-bereit-fur-produktion

Das Seminar vermittelt umfassende Kenntnisse in der Erstellung, Verwaltung und Optimierung von Directed Acyclic Graphs (DAGs) in Apache Airflow. Teilnehmende lernen, wie man effiziente und sichere Workflows entwickelt, DAGs testet und modularisiert, sowie fortgeschrittene Funktionen wie TaskFlow API und XComs nutzt. Es wird auch auf Airflow-Sicherheit, CI/CD-Integrationen und die Anwendung von Airflow in Kubernetes-Umgebungen eingegangen. Ziel ist es, die Teilnehmer zu befähigen, komplexe Datenverarbeitungs-Workflows effektiv zu managen und zu skalieren.

Der Kurs Apache Airflow richtet sich an Data Scientists und Data Engineers, die ihre Workflows in die Produktion bringen wollen. Wenn Sie die besten Praktiken für die Überwachung, Steuerung und Ausführung Ihrer Datenpipelines mit Airflow erlernen möchten,  dann sollten Sie teilnehmen. Grundkenntnisse in Python sind erforderlich.