Apache Spark 3 Grundlagen - Seminar / Kurs von GFU Cyrus AG
Inhalte
- Einführung in Spark - Erste Schritte
- Was ist Spark und was ist sein Zweck?
- Komponenten des Spark-Unified-Stacks
- Stabiler verteilter Datensatz (RDD)
- Herunterladen und Installieren von Spark Standalone
- Überblick über Scala und Python
- Starten und Verwenden der Scala- und Python-Shell von Spark
- Belastbarer verteilter Datensatz und DataFrames
- Verstehen, wie man parallelisierte Sammlungen und externe Datensätze erstellt
- Arbeiten mit RDD-Operationen (Resilient Distributed Dataset)
- Gemeinsame Variablen und Schlüssel-Werte-Paare verwenden
- Spark-Anwendungsprogrammierung
- Verstehen des Zwecks und der Verwendung des SparkContextes
- Initialisierung von Spark mit den verschiedenen Programmiersprachen
- Beschreiben und Ausführen einiger Spark-Beispiele
- Übergabe von Funktionen an Spark
- Erstellen und Ausführen einer Standalone-Anwendung von Spark
- Übertragen von Anwendungen an den Cluster
- Spark Streaming
- Einführung von Spark Streaming
- Architektur von Spark Streaming
- Verarbeitung verteilter Protokolldateien in Echtzeit
- Diskretisierte Ströme RDD
- Anwendung von Transformationen und Aktionen auf Streaming-Daten
- Integration mit Flume und Kafka
- Integration mit Cassandra
- Überwachung von Streaming-Aufträgen
- Spark-SQL
- Einführung in Apache Spark SQL
- Der SQL-Kontext
- Importieren und Speichern von Daten
- Verarbeitung von Textdateien, JSON und Parquet-Dateien
- DataFrames
- Benutzerdefinierte Funktionen
- Die Verwendung von Hive
- Lokaler Hive-Metastore-Server
- Spark MLLib
- Einführung in das maschinelle Lernen
- Arten des maschinellen Lernens
- Einführung in Apache Spark MLLib-Algorithmen
- Datentypen des maschinellen Lernens und die Arbeit mit MLLib
- Regressions- und Klassifikationsalgorithmen
- Entscheidungsbäume in der Tiefe
- Klassifizierung mit SVM, Naive Bayes
- Clustering mit K-Means
- Aufbau des Spark-Servers
- Einführung in Spark - Erste Schritte
- Was ist Spark und was ist sein Zweck?
- Komponenten des Spark-Unified-Stacks
- Stabiler verteilter Datensatz (RDD)
- Herunterladen und Installieren von Spark Standalone ...
Lernziele
Nach diesem Seminar kennen sie die Apache Spark Architektur und wissen, welche Lösungen mit Spark in einem Big Data Umfeld entwickelt werden können. Nutzen Sie die Spark Streamingfähigkeiten und die Möglichkeiten von Machine Learning für Ihre Data Science-Anwendungen.
Nach diesem Seminar kennen sie die Apache Spark Architektur und wissen, welche Lösungen mit Spark in einem Big Data Umfeld entwickelt werden können. Nutzen Sie die Spark Streamingfähigkeiten und di ... Mehr Informationen >>
Zielgruppen
Analyst:innen, Software-Entwickler:innen, Software-Architekt:innen mit Kenntnissen in einer Programmiersprache, die Spark in einem Big Data und Data Science - Projekt nutzen wollen.