PySpark - Big Data Analytics mit Apache Spark und Python (Inhouse) - Inhouse von Cegos Integrata GmbH

• Verortung und Kontext des Frameworks (Vergleich mit Pyspark, Hadoop und Kubernetes)
• Grundlegende Prinzipien der verteilten Datenverarbeitung durch Apache Spark

Erste Schritte in der PySpark-Welt:

• Essenzielle DataFrames-Grundlagen
• Einbindung von JSON- und CSV-Daten
• Einfache Datentransformationen (Projektionen, Filterung, grundlegende Funktionen...)

Weitere Datentransformationen erkunden:

• Gruppierte Aggregationen verstehen
• Sortierung von Daten
• Joins von Datensätzen

UDF - User Defined Functions verwenden:

• Effiziente Nutzung von Pandas UDFs in PySpark
• Einsatzbereiche von UDFs

Datenhaltung und Speicherung:

• Überblick über kompatible Dateiformate

Grundlagen des Maschinellen Lernens:

• Modelltraining und -entwicklung
• Einführung in Regressionsmodelle
• Verwendung von Trainings- und Validierungsdaten
• Bewertungsmetriken für Modellleistungen
• Praktische Übung mit dem Datensatz des NYC Taxis

Vorbereitung der Daten:

• Formatumwandlungen für beschleunigte Verarbeitung
• Integration diverser Datenquellen

Datenexploration:

• Anfängliche einfache Datenanalysen und -visualisierungen
• Datenreduktion durch Aggregation

Modelltraining:

• Maschinelles Lernen mit PySpark umsetzen

Verfeinerung des Modells:

• Bewertung des Modells mittels geeigneter Metriken
• Optimierung durch Integration neuer Eigenschaften
• Austausch von Ideen zur weiteren Verbesserung
•  

Methode

Dieses Big Data Seminar legt einen großen Fokus auf praktische Anwendungen. Die Konzepte werden während der Schulung anhand von Folien erklärt und durch Beispiele veranschaulicht. In den Übungseinheiten haben die Teilnehmer die Möglichkeit, das Gelernte mithilfe der Programmiersprache Python in der Cloud mit Jupyter Notebooks umzusetzen. Der Trainer steht den Teilnehmern bei verschiedenen Aufgaben zur Seite und begleitet sie bei Fragen.

Hinweis

Die Teilnehmer benötigen zur Teilnahme einen eigenen Rechner, auf dem ein aktueller Browser (Chrome, Firefox, Edge) zur Teilnahme an der Video-Schulung installiert ist. Entsprechend sollten die Teilnehmer auch über Mikrofon und Kopfhörer oder Lautsprecher verfügen. Eine Kamera für die Teilnehmer ist optional und freiwillig, wäre aber sehr hilfreich.Um ein möglichst realistisches Erlebnis zu ermöglichen, erhält jeder Teilnehmer ein eigenes kleines Cluster innerhalb der Amazon Cloud, der Zugriff erfolgt über SSH und den Web-Browser. Damit wird neben einem Web-Browser auch keine weitere Software auf den Computern der Teilnehmer benötigt.Bitte prüfen Sie, ob Ihr Firmenlaptop Zugangsbeschränkungen im Internet hat. Die digitalen Unterlagen (Skript) werden im Seminar online zum Download zur Verfügung gestellt. Sie erhalten vor dem Seminar per E-Mail den Link zu einer Testdatei zum Download, um dies überprüfen zu können.Sie sollten sich in firmenfremde WLAN-Netze registrieren können um Zugang zum Internet am Veranstaltungsort zu haben. Einige Teilnehmer können Sie sich alternativ auch über Ihr Firmen-Handy  ins Internet einwählen  (WLAN-Tethering / Hotspot).Als Backup Lösung ist es möglich, dass der USB Port bei Ihrem Laptop freigeschaltet ist, um damit verwendete Dateien oder sonstige Unterlagen übertragen zu können.Weitere Seminare aus dem Bereich Data Science, Machine Learning & KI

Dieser praxisorientierte Kurs behandelt die Verarbeitung von großen Datenmengen mit Apache Spark und Python. Es werden grundlegende Konzepte von PySpark erläutert und die Integration des Python Datenanalyse Moduls Pandas in PySpark behandelt. Darüber hinaus werden die Möglichkeiten der Anwendung von Machine Learning in PySpark vorgestellt. Der Kurs bietet einen Überblick über die Analyse großer Datenmengen, Hadoop und Kubernetes, sowie die Verwendung von Spark als Datenverarbeitungsframework. Es werden auch Themen wie das Einladen von Daten, Datenaufbereitung (Transformation, Filtern, Joinen, Aggregation), Ausführungsmodelle von Apache Spark und Datenorganisation in Big Data Projekten behandelt. Insgesamt bietet dieser Kurs eine umfassende Einführung in die Verarbeitung großer Datenmengen mit Apache Spark und Python.

Der Kurs ist in drei thematische Bereiche unterteilt, um die Teilnehmer schrittweise an Apache Spark heranzuführen.Im ersten Teil wird ein knapper Überblick über aktuelle Technologien zur Speicherung und Verarbeitung großer Datenmengen (Hadoop und Kubernetes) gegeben und die Rolle von Spark als wichtiges Datenverarbeitungsframework erläutert.Der zweite Teil beinhaltet eine ausführliche Einführung in die Arbeit mit Apache Spark mit Python (PySpark). Dabei werden alle wichtigen Punkte behandelt, wie das Laden von Daten, die Datenaufbereitung (Transformation, Filtern, Joinen, Aggregation), die Anbindung verschiedener Datenquellen, die Ausführungsmodelle von Apache Spark sowie die Integration des Python Data Science Moduls Pandas und wichtige Unterschiede.Die Teilnehmer werden all diese Schritte direkt an praktischen Beispielen und Übungen durchführen. Es werden auch gängige Grundkonzepte zur Datenorganisation in Big Data Projekten besprochen.Im dritten Teil werden die Möglichkeiten von Spark zur Datenanalyse und zum maschinellen Lernen (ML) behandelt. Die grundlegenden Konzepte und Vorgehensweisen von ML werden kurz erläutert und anhand eines Beispiels mit PySpark praktisch angewendet.Der Fokus des Workshops liegt auf dem Umgang mit PySpark zur Verarbeitung und Analyse großer Datenmengen. Der Bereich "Machine Learning" wird ebenfalls behandelt, jedoch nur knapp theoretisch umrissen aufgrund seiner Komplexität. Vielmehr wird darauf eingegangen, welche Möglichkeiten Apache Spark in diesem Anwendungsgebiet bietet und unter welchen Bedingungen der Einsatz von PySpark anderen Alternativen vorzuziehen ist.Der Workshop ermöglicht es den Teilnehmern, eigenständig Daten mithilfe von Apache Spark zu transformieren und zu analysieren.