Search jobs
Back to search Apply now
Ref: #70345

Databricks Experte (Architekt & Ingenieur)

  • Practice Data

  • Location Amsterdam, Netherlands

Über die Rolle

Wir suchen einen hochqualifizierten Databricks Architect & Engineer, der unsere Unternehmensdaten- und Analyseplattform auf Databricks konzipiert, aufbaut und optimiert. In dieser Position verbinden Sie fundierte technische Fachkenntnisse mit strategischer Architekturführung, um skalierbare, leistungsstarke Datenlösungen für das gesamte Unternehmen zu ermöglichen.

Sie leiten Initiativen rund um die Data Lakehouse-Architektur, Delta Lake-Pipelines und Databricks Plattform-Governance und arbeiten eng mit Dateningenieuren, Datenwissenschaftlern und Cloud-Architekten zusammen, um zuverlässige, effiziente und sichere Datenökosysteme bereitzustellen.

Hauptverantwortlichkeiten

Architektur & Design

  • Definieren und implementieren Sie die End-to-End-Architektur von Databricks in verschiedenen Umgebungen (Entwicklung, Staging, Produktion).

  • Entwerfen Sie Data Lakehouse-Lösungen unter Verwendung von Delta Lake, Unity Catalog und Databricks SQL.

  • Entwickeln Sie Standards, Frameworks und Best Practices für Dateneingabe, -umwandlung, -orchestrierung und -verwaltung.

  • Arbeiten Sie mit Cloud-Architekten zusammen, um eine nahtlose Integration mit der Azure-, AWS- oder GCP-Infrastruktur sicherzustellen.

  • Entwickeln Sie kosteneffiziente Cluster-Strategien, einschließlich automatischer Skalierung, Job-Clustern und Leistungsoptimierung.

Technik & Implementierung

  • Erstellen, optimieren und implementieren Sie Datenpipelines mit PySpark, SQL und Databricks-Workflows.

  • Implementieren Sie CI/CD-Pipelines für Databricks mit Tools wie GitHub Actions, Azure DevOps oder Jenkins.

  • Entwickeln und pflegen Sie Datenqualitätsprüfungen, Überwachungs- und Alarmierungsmechanismen.

  • Arbeiten Sie mit Datenwissenschaftlern zusammen, um ML-Modelle mit MLflow und Model Serving zu operationalisieren.

  • Verwalten Sie die Plattformautomatisierung und Infrastruktur-as-code mit Terraform oder ähnlichen Tools.

Governance & Befähigung

  • Implementieren Sie Datensicherheit, Abstammung und Zugriffskontrolle mit Hilfe von Unity Catalog und bewährten Verfahren zur Einhaltung von Richtlinien.

  • Erstellen und pflegen Sie Dokumentation, Playbooks und wiederverwendbare Vorlagen für das Data Engineering Team.

  • Beraten Sie Ingenieure und Analysten über Databricks-Funktionen, Codierungsstandards und Leistungsoptimierung.

  • Arbeiten Sie mit Databricks Kundenerfolgs- und Support-Teams zusammen, um über neue Versionen und Funktionen auf dem Laufenden zu bleiben.

Fügen Sie eine Lebenslaufdatei an. Akzeptierte Dateitypen werden DOC, DOCX, PDF, HTML und TXT.

Wir laden Ihre Bewerbung hoch. Es kann einige Augenblicke dauern, bis Sie Ihren Lebenslauf lesen können. Bitte warten!