PySpark - Big Data Analytics mit Apache Spark und Python (Live Online Training)

Verarbeitung und Analyse großer Datenmengen mit Apache Spark und Python praxisnah einsetzen.

• Einführung in Apache Spark Grundlagen:
  • Verortung und Kontext des Frameworks (Vergleich mit Pyspark, Hadoop und Kubernetes)
  • Grundlegende Prinzipien der verteilten Datenverarbeitung durch Apache Spark
  Erste Schritte in der PySpark-Welt:
  • Essenzielle DataFrames-Grundlagen
  • Einbindung von JSON- und CSV-Daten
  • Einfache Datentransformationen (Projektionen, Filterung, grundlegende Funktionen...)
  Weitere Datentransformationen erkunden:
  • Gruppierte Aggregationen verstehen
  • Sortierung von Daten
  • Joins von Datensätzen
  UDF - User Defined Functions verwenden:
  • Effiziente Nutzung von Pandas UDFs in PySpark
  • Einsatzbereiche von UDFs
  Datenhaltung und Speicherung:
  • Überblick über kompatible Dateiformate
  Grundlagen des Maschinellen Lernens:
  • Modelltraining und -entwicklung
  • Einführung in Regressionsmodelle
  • Verwendung von Trainings- und Validierungsdaten
  • Bewertungsmetriken für Modellleistungen
  • Praktische Übung mit dem Datensatz des NYC Taxis
  Vorbereitung der Daten:
  • Formatumwandlungen für beschleunigte Verarbeitung
  • Integration diverser Datenquellen
  Datenexploration:
  • Anfängliche einfache Datenanalysen und -visualisierungen
  • Datenreduktion durch Aggregation
  Modelltraining:
  • Maschinelles Lernen mit PySpark umsetzen
  Verfeinerung des Modells:
  • Bewertung des Modells mittels geeigneter Metriken
  • Optimierung durch Integration neuer Eigenschaften
  • Austausch von Ideen zur weiteren Verbesserung
  •  

Methode

Dieses Big Data Seminar legt einen großen Fokus auf praktische Anwendungen. Die Konzepte werden während der Schulung anhand von Folien erklärt und durch Beispiele veranschaulicht. In den Übungseinheiten haben die Teilnehmer:innen die Möglichkeit, das Gelernte mithilfe der Programmiersprache Python in der Cloud mit Jupyter Notebooks umzusetzen. Die Trainer:innen stehen den Teilnehmenden bei verschiedenen Aufgaben zur Seite und begleiten sie bei Fragen.

LernzieleDie Analyse und Verarbeitung großer Datenmengen ist heute ein entscheidender Erfolgsfaktor für datengetriebene Unternehmen. In diesem praxisorientierten Seminar lernen Sie, wie Sie mit Apache Spark und Python (PySpark) effizient Big Data analysieren und aufbereiten. Sie erhalten eine fundierte Einführung in die Grundlagen verteilter Datenverarbeitung, arbeiten mit realitätsnahen Beispielen und wenden moderne Methoden der Datenintegration, Transformation und Aggregation direkt an. Auch die Anwendungsmöglichkeiten von Machine Learning mit PySpark werden thematisiert.Nach dem Seminar sind Sie in der Lage, große Datenmengen eigenständig zu laden, zu transformieren und gezielt auszuwerten. Sie kennen die Einsatzmöglichkeiten von PySpark im Kontext von Data Science und können fundierte Entscheidungen zur Datenverarbeitung in Big Data Projekten treffen.

 

Zielgruppen

• Data Scientists und Data Analysts, die sich mit der Verarbeitung und Analyse großer Datenmengen mithilfe von Python und Apache Spark (PySpark) beschäftigen möchten.