Databricks Foundation in Köln

Tag 1: Theorie und Grundarchitektur - Lakehouse Platform & Data Governance

• Teil 1: Theorie, Grundlagen und Einordnung
  • Rolle von DataOps, Data Engineering und Data Analytics in modernen Datenökosystemen
  • Überblick Databricks Lakehouse: zentrale Konzepte, Architektur und Workflow
  • Aufbau einer Medaillon-Architektur (Bronze -> Silber -> Gold)
  • Einordnung von Data Mesh, Data Products und Data Fabric
  • Spark-Grundlagen: Cluster, Runtimes, Execution Model
  • Delta Lake: ACID, Versionierung, Time Travel, Performance-Optimierung
• Teil 2: Grundarchitektur - Lakehouse Plattform & Data Governance
  • Databricks Workspaces, Cluster-Typen (Classic Compute vs. Serverless), SQL Warehouses
  • Unity Catalog: Data Governance, Berechtigungen, Data Lineage, Data Discovery
  • Databricks One: Integration von Databricks AI/BI Dashboards und Databricks Genie
  • Cloud-Integration (AWS / Azure): Landing Zones, Networking, Storage-Anbindung
  • Sicherheitsmodelle: Rollen, Berechtigungen, Secrets, Verschlüsselung

Tag 2: Ingestion & Intergration, Transformation & Pipelines

• Teil 3: Daten kommen an - Ingestion & Integration
  • Anbindung von Datenquellen: Datenbanken, Cloud-Storages, APIs, Streaming
  • Ingestion-Strategien: Batch, Streaming, Auto Loader, Partner Connect
  • Aufbau von Landing Zones für strukturierte & unstrukturierte Daten (z. B. SAP / Non-SAP)
  • Best Practices zur zuverlässigen Datenübernahme (DataOps-Ansätze)
• Teil 4: Daten werden verarbeitet - Transformation & Pipelines
  • Arbeiten mit Notebooks (Python, SQL, Spark)
  • Aufbau von ETL/ELT-Pipelines mit Spark Declarative Pipelines (Databricks Pipelines & Jobs)
  • DataOps-Prinzipien: CI/CD, Git-Integration, Reproduzierbarkeit
  • Optimierung von Pipelines und Clustern

Tag 3: Data Products & Sharing, Analytics & Reporting

• Teil 5: Bereitstellung der Daten - Data Products & Sharing
  • Umsetzung der Medaillon-Stufen (Bronze -> Silber -> Gold)
  • Aufbau produktionsreifer Data Products
  • Delta Sharing: interne und externe Datenbereitstellung
  • Data Governance mit dem Databricks Unity Catalog
  • Databricks Asset Bundles: strukturierte Blueprints für Data Products & Use Cases
• Teil 6: Auswertung der Daten - Analytics & Reporting
  • Analytische Abfragen mit Databricks SQL
  • Erstellung von Databricks AI/BI Dashboards und Reports
  • Integration von BI-Tools (am Beispiel von Power BI)
  • Skalierungsstrategien für Analyse-Workloads
  • Typische Use Cases: Standarding Reporting, Self-Service BI und Ad-hoc-Analysen

LernzieleNach diesen drei Tagen beherrschen Sie die grundlegenden Konzepte der Databricks Lakehouse Plattform und können eigenständig Data Pipelines aufbauen, Daten transformieren und als Data Products bereitstellen. Sie verstehen die Medaillon-Architektur, setzen Delta Lake gezielt ein und konfigurieren Governance-Strukturen mit Unity Catalog. Darüber hinaus sind Sie in der Lage, Analytics-Workloads performant umzusetzen und BI-Integrationen strukturiert zu realisieren - sowohl auf AWS als auch auf Azure.ZielgruppenDieses Seminar richtet sich an Data Engineers, DataOps Engineers, Analytics Engineers, BI-Entwickler, Cloud-Architekten und IT-Professionals, die mit Databricks auf AWS oder Azure arbeiten oder eine Lakehouse-Plattform aufbauen möchten. Sie arbeiten beispielsweise im Bereich Data Engineering, Reporting, Business Intelligence oder Plattformbetrieb. Sie benötigen Grundkenntnisse in SQL und ein grundlegendes Verständnis von Datenarchitekturen. Erste Erfahrungen mit Cloud-Plattformen wie AWS oder Azure sind von Vorteil. Das Seminar ist als praxisorientiertes Foundation-Training konzipiert und kombiniert konzeptionelle Grundlagen mit intensiven Hands-on-Übungen.