Apache Airflow Einführung und Grundlagen - Seminar / Kurs von GFU Cyrus AG
Inhalte
- DAGs erstellen - Directed Acyclic Graph
- Geheimnisse, Verbindungen und Variablen
- Erstellen von Verbindungen beim Starten
- Verwendung von Pools für langlaufende und anspruchsvolle Aufgaben
- Simulation lang laufender Tasks
- DAG-Serialisierung
- DAG-Versionierung
- Testen von DAGs
- CI/CD in Airflow
- DAGs modularisieren
- TaskGroups gegenüber subDAGs
- TaskFlowAPI und XComs
- Modularisierung
- Dynamische und funktionale DAGs
- SmartSensors und Zeitüberschreitungen
- Airflow-Sicherheit
- RBAC in Airflow
- Einrichten der OAuth-Authentifizierung
- Google OAuth hinzufügen
- Hinzufügen von SSL-Zertifikaten
- Standard-Rollen und benutzerdefinierte Rollen
- Erstellen einer benutzerdefinierten Rolle
- Airflow in Kubernetes
- Das Helm-Diagramm
- Bereitstellung von Airflow mit Helm
- Bereitstellen einzelner Aufgaben in Kubernetes: KubernetesPodOperator
- Hinzufügen einer Aufgabe in Kubernetes
- Skalierung von Airflow mit Kubernetes-Executor
- Ändern der Helm-Diagrammwerte
- KEDA-Autoscaler
- Vorbereiten von DAGs für Kubernetes
- Vollständige Erstellung einer DAG in Kubernetes
- DAGs erstellen - Directed Acyclic Graph
- Geheimnisse, Verbindungen und Variablen
- Erstellen von Verbindungen beim Starten
- Verwendung von Pools für langlaufende und anspruchsvolle Aufgaben
- Simula ...
Lernziele
Nach dem Seminar wissen Sie: Apache Airflow ist ein wichtiger Scheduler für die programmatische Planung, Erstellung und Überwachung von Workflows in einem Unternehmen. Er ist hauptsächlich für die Orchestrierung und Handhabung komplexer Datenpipelines konzipiert. Apache Airflow hat sich zu einer leistungsstarken Plattform für Datenpipelines entwickelt.
Nach dem Seminar wissen Sie: Apache Airflow ist ein wichtiger Scheduler für die programmatische Planung, Erstellung und Überwachung von Workflows in einem Unternehmen. Er ist hauptsächlich für die ... Mehr Informationen >>
Zielgruppen
Der Kurs Apache Airflow richtet sich an Data Scientists und Data Engineers, die ihre Workflows in die Produktion bringen wollen. Wenn Sie die besten Praktiken für die Überwachung, Steuerung und Ausführung Ihrer Datenpipelines mit Airflow erlernen möchten,
dann sollten Sie teilnehmen. Grundkenntnisse in Python sind erforderlich.
Der Kurs Apache Airflow richtet sich an Data Scientists und Data Engineers, die ihre Workflows in die Produktion bringen wollen. Wenn Sie die besten Praktiken für die Überwachung, Steuerung und Ausf ... Mehr Informationen >>