Data Engineer (Data & Analytics Platform)
Zu den wichtigsten Aspekten des Projekts gehören:
Plattformdesign & Architektur:
Entwickeln und implementieren Sie Datenpipelines und Architekturen in Azure Data Lake, Azure Data Factory und Azure Databricks.
Entwerfen Sie skalierbare Datenmodelle, die für Leistung und Berichterstattung optimiert sind.
Datenaufnahme und -umwandlung:
Erstellen Sie automatisierte ETL/ELT-Pipelines mit Databricks (PySpark) und Python.
Nehmen Sie Daten aus verschiedenen strukturierten und unstrukturierten Quellen auf (z.B. SQL Server vor Ort, REST APIs, Flat Files).
SQL-Entwicklung:
Schreiben und optimieren Sie SQL-Abfragen und gespeicherte Prozeduren für die Verarbeitung von Daten und die Berichterstattung.
Reporting & Visualisierung:
Arbeiten Sie mit Analysten zusammen, um Power BI Dashboards und Berichte zu entwerfen und zu veröffentlichen.
Technischer Stapel:
Cloud-Plattform: Microsoft Azure
Datenspeicherung: Azure Data Lake Gen2, Azure SQL-Datenbank
Datenverarbeitung: Azure Databricks, Azure Data Factory
Programmiersprachen: Python (PySpark), SQL
BI & Visualisierung: Power BI