Leitender Dateningenieur

• Practice Data

• Location London, United Kingdom

Berater für Datenengineering (Senior/Lead)
Überblick über die Rolle
Wir suchen einen praxisorientierten Databricks-Ingenieur, der über Erfahrung in der Umsetzung moderner Datenplattformen auf Databricks verfügt. Für diese Position sind mindestens zwei Jahre Databricks-Erfahrung erforderlich, die in jüngster Zeit erworben wurden (d. h. aktuelle oder kürzlich abgeschlossene Projekte, bei denen moderne Plattformfunktionen zum Einsatz kamen).
Hauptverantwortlichkeiten

• Technische Umsetzung von Databricks-Lakehouse-Lösungen – von der Datenerfassung bis hin zu kuratierten Ausgabeschichten.
• Definieren und implementieren Sie die Medallion-Architektur (Bronze/Silber/Gold) sowie wiederverwendbare Entwicklungsmuster.
• Erstellen Sie skalierbare Datenerfassungspipelines unter Verwendung von AutoLoader, Lakeflow Connect sowie Batch- und Streaming-Verfahren und inkrementellen Mustern.
• Entwickeln Sie deklarative Pipelines mit Erwartungen (DLT), um die Datenqualität sicherzustellen und zu überwachen.
  Implementieren und betreiben Sie den Unity Catalog für Governance, Zugriffskontrolle, Datenherkunft und sichere Muster für den Datenaustausch.
• Förderung der Codequalität und der operativen Exzellenz (CI/CD-Ansatz, Teststrategie, Überwachung, Triage von Vorfällen).
• Arbeiten Sie mit Architekten, Plattformteams und den Beteiligten zusammen, um die Umsetzung an die Unternehmensstandards anzupassen.
• Sie betreuen Ingenieure und fungieren während der Projektdurchführung als Ansprechpartner für technische Eskalationen.

Mindestberufserfahrung (Filterkriterien)

• Praktische Erfahrung mit Databricks aus den letzten Jahren (z. B. in den letzten 2–3 Jahren), die den Einsatz moderner Databricks-Funktionen und -Muster belegt.
• Nachweis der praktischen Anwendung (nicht nur im Rahmen von Schulungen oder Laborübungen).

Unabdingbar (nicht verhandelbar)

• Databricks-Zertifizierung, mindestens eine der folgenden: „Databricks Certified Data Engineer Associate/Professional“ ODER „Databricks Certified Machine Learning Associate/Professional“ ODER „Databricks Certified Generative AI Engineer (Associate)“
• Praktische Erfahrungen mit dem Unity-Katalog:

Metastore-/Katalogdesign, Genehmigungen, Herkunftsnachweis und sichere Zugriffsmuster.

• Deklarative Pipelines mit Erwartungen (DLT):

Aufbau von Pipelines, Festlegung von Erwartungen, Umgang mit Fehlern und Quarantänen, Beobachtbarkeit.

• Dateneinfuhr unter Verwendung von Databricks-eigenen Ansätzen:
• AutoLoader und/oder Lakeflow Connect, Streaming und inkrementelle Erfassungsmuster.
• Implementierung von Medallion Architecture und bewährte Vorgehensweisen:
  Entwurf und Implementierung der Stufen Bronze, Silber und Gold unter Berücksichtigung praktischer Entscheidungen (Schemaentwicklung, CDC/Upserts, SCD-Muster, Leistungsstrategie).

Hätte …

• Nachweisbare Nutzung der neuesten Databricks-Funktionen (der Bewerber kann erläutern, welche Funktionen er kürzlich genutzt hat und warum).
• Fundierte Kenntnisse im Bereich Databricks-Entwicklung:
• Delta Lake (MERGE, Schema-Durchsetzung/-Weiterentwicklung, OPTIMIZE/ZORDER, VACUUM)
• Databricks-Workflows / Job-Orchestrierung
• PySpark/SQL für den produktiven Einsatz
• Ein klares Verständnis der Zuverlässigkeit von Pipelines:
  Beobachtbarkeit, Warnmeldungen, Replay-/Backfill-Strategien und Betriebshandbücher.

Schön zu haben

• Lakeflow-Ingestions-Konnektoren (Erfahrung mit bestimmten Konnektoren ist von Vorteil).
• RBAC- und Maskierungsimplementierungen (Sicherheit auf Zeilenebene, Spaltenmaskierung, Umgang mit sensiblen Daten) unter Verwendung von Unity Catalog.
• GenAI auf Databricks: Mosaic AI, Vektorsuche, Modellbereitstellung, RAG-Pipelines, KI-Funktionen.
  Grundkenntnisse über Lakebase oder praktische Erfahrungen damit.
• Optimierung von Arbeitslast und Abfragen: Photon-Nutzung, Cluster-Dimensionierung, Minimierung von Shuffle und Skew, Caching-Strategie, Partitionierung, Dateigrößenanpassung.
• Kostenbewusstsein und -kontrolle: Verständnis der DBU-Treiber, Unterscheidung zwischen anwendungsspezifischer und universeller Rechenleistung, Cluster-Richtlinien, Überwachung sowie Chargeback-/Showback-Muster.

• share
• 
• 
• 
•