Data Engineering on Microsoft Azure (DP-203) - Seminar / Kurs von Cegos Integrata GmbH

• Einführung in Azure Synapse Analytics
• Erläuterung von Azure Databricks
• Erläuterung in Azure Data Lake-Speicher
• Beschreiben der Delta Lake-Architektur
• Arbeiten mit Datenströmen unter Verwendung von Azure Stream Analytics

Interaktive Abfragen mit Azure Synapse Analytics serverlosen SQL-Pools ausführen

• Möglichkeiten von Azure Synapse Serverless SQL Pools
• Abfragen von Daten im Lake mit Azure Synapse Serverless SQL Pools
• Erstellen von Metadatenobjekten in Azure Synapse Serverless SQL Pools
• Sichern von Daten und Verwalten von Benutzern in Azure Synapse Serverless SQL Pools

Datenexploration und -umwandlung in Azure Databricks

• Azure Databricks
• Lesen und Schreiben von Daten in Azure Databricks
• Arbeiten mit DataFrames in Azure Databricks
• Arbeiten mit fortgeschrittenen DataFrames-Methoden in Azure Databricks

Analysieren, Transformieren und Laden von Daten in das Data Warehouse mit Apache Spark

• Verstehen von Big Data Engineering mit Apache Spark in Azure Synapse Analytics
• Einlesen von Daten mit Apache Spark-Notebooks in Azure Synapse Analytics
• Transformieren von Daten mit DataFrames in Apache Spark-Pools in Azure Synapse Analytics
• Integrieren von SQL- und Apache Spark-Pools in Azure Synapse Analytics

Daten in das Data Warehouse aufnehmen und laden

• Verwenden von Best Practices zum Laden von Daten in Azure Synapse Analytics
• Ingestion im Petabyte-Bereich mit Azure Data Factory

Transformieren von Daten mit Azure Data Factory oder Azure Synapse Pipelines

• Datenintegration mit Azure Data Factory oder Azure Synapse Pipelines
• Codefreie Transformation im großen Maßstab mit Azure Data Factory oder Azure Synapse Pipelines

Orchestrierung der Datenbewegung und -transformation in Azure Synapse Pipelines

• Orchestrierung der Datenbewegung und -transformation in Azure Data Factory

End-to-End-Sicherheit mit Azure Synapse Analytics

• Data Warehouse in Azure Synapse Analytics sichern
• Konfigurieren und Verwalten von Secrets in Azure Key Vault
• Implementierung von Compliance-Kontrollen für sensible Daten

Hybride transaktionale analytische Verarbeitung (HTAP) mit Azure Synapse Link unterstützen

• Entwerfen Sie hybride transaktionale und analytische Verarbeitung mit Azure Synapse Analytics
• Konfigurieren von Azure Synapse Link mit Azure Cosmos DB
• Abfrage von Azure Cosmos DB mit Apache Spark-Pools
• Abfrage von Azure Cosmos DB mit serverlosen SQL-Pools

Stream-Verarbeitung in Echtzeit mit Stream Analytics

• Zuverlässiges Messaging für Big Data-Anwendungen mit Azure Event Hubs ermöglichen
• Arbeiten mit Daten-Streams mithilfe von Azure Stream Analytics
• Einlesen von Daten-Streams mit Azure Stream Analytics

Erstellen einer Stream Processing-Lösung mit Event Hubs und Azure Databricks

• Verarbeiten von Streaming-Daten mit Azure Databricks Structured Streaming

Methode

Vortrag, Übungen, Praktikum

In diesem Seminar lernen die Teilnehmer, wie sie Data Engineering in Bezug auf die Arbeit mit Batch- und Echtzeit-Analyselösungen unter Verwendung von Azure-Datenplattformtechnologien nutzen. Dabei lernen sie zunächst die wichtigsten Rechen- und Speichertechnologien kennen, die zum Aufbau einer analytischen Lösung verwendet werden. Es werden in Dateien gespeicherte Daten in einem Data Lake interaktiv untersucht. Verschiedene Ingestion-Techniken, die zum Laden von Daten mit der Apache Spark-Funktion in Azure Synapse Analytics oder Azure Databricks verwendet werden, werden erläutert. Die Teilnehmer lernen auch die verschiedenen Möglichkeiten kennen, wie sie die Daten mit denselben Technologien umwandeln können, die für den Dateningest verwendet werden. Sie werden verstehen, wie wichtig es ist, Sicherheit zu implementieren, um sicherzustellen, dass die Daten im Ruhezustand oder bei der Übertragung geschützt sind. Es wird gezeigt, wie ein Echtzeit-Analysesystem erstellt wird, um Echtzeit-Analyselösungen zu entwickeln.

Dieses Seminar ist Teil dieses Qualifizierungsplaners: