Apache Airflow

Apache Airflow ist eines der frenden Workflow-Orchestrierungsframeworks f Datenverarbeitung, Analytics und Cloud-Automatisierung. Dieses zweitige Seminar vermittelt Ihnen die Grundlagen von Airflow, zeigt Best Practices und Anti-Patterns im produktiven Betrieb und frt Sie in moderne DevOps-Methoden rund um CI/CD, Linting, Deployment und Testing ein. In zahlreichen ungen lernen Sie, eigene DAGs aufzubauen, Container-Workloads zu orchestrieren und typische Fehlerquellen zu erkennen. Am Nachmittag des zweiten Tages ist ein offener Hands-on-Block vorgesehen, um direkt mit Kunden-Use-Cases zu arbeiten. Der Fokus liegt auf praktischen, realen Szenarien sowie "Do's and Don'ts" aus dem professionellen Einsatz von Airflow. Inhalte: - Grundlagen und Architektur von Apache Airflow - DAG-Entwicklung in Python - Operators und Sensoren (PythonOperator, BashOperator) - Scheduling (Cron, Presets, Catchup, Backfill) - Abhgigkeiten und Task Flow - XCom und Datenaustausch - Jinja Templates und Macros - Fehlerstrategien (Retries, SLAs) - Monitoring und Logging in der Airflow UI - Linting und Qualitsprung von DAGs - Testing von Airflow Workflows - Deployment und CI/CD f DAGs - Versionsverwaltung und Best Practices - Umgang mit Secrets und Konfiguration - Anti-Patterns und typische Fehlerquellen - Ressourcenmanagement und Parallelism