Senior Dateningenieur

• Practice Data

• Location Warszawa, - None Specified -

Senior Data Engineer (Architekt + praktischer Entwickler)
Die Gelegenheit
Wir suchen einen Senior Data Engineer (5+ Jahre Erfahrung), der an der Schnittstelle zwischen Lösungsarchitektur und praktischer Entwicklung arbeiten kann. Diese Rolle erfordert eine Person, die skalierbare Datenarchitekturen entwerfen und gleichzeitig aktiv produktionsreife Datenpipelines aufbauen und pflegen kann.
Die Hauptaufgabe besteht darin, robuste Datenplattformen und Pipelines zu entwerfen, aufzubauen und zu optimieren, die fortschrittliche Analysen, Business Intelligence und datengesteuerte Entscheidungsfindung im gesamten Unternehmen ermöglichen.

Ihre wichtigsten Aufgaben

• Architektur und Design skalierbarer, zuverlässiger und kosteneffizienter Datenplattformen und -pipelines, die auf die Geschäftsanforderungen abgestimmt sind
• Entwickeln und implementieren Sie hochwertige Datenpipelines zur Verarbeitung umfangreicher strukturierter und unstrukturierter Daten.
• Sie sind für den gesamten Lebenszyklus der Daten verantwortlich, einschließlich Aufnahme, Umwandlung, Speicherung und Nutzung.
• Einführung von Standards für die Datenarchitektur, bewährten Verfahren und wiederverwendbaren Frameworks
• Optimieren Sie Leistung und Kosten von Datensystemen über Cloud-Plattformen hinweg
• Sicherstellung von Datenqualität, Governance, Sicherheit und Compliance für alle Datenbestände
• Führen Sie Junior-Ingenieure technisch an und arbeiten Sie mit funktionsübergreifenden Teams zusammen.
• Zusammenarbeit mit Interessengruppen bei der Umsetzung von Geschäftsanforderungen in skalierbare technische Lösungen
• Beheben Sie Probleme in der Produktion und stellen Sie eine hohe Verfügbarkeit und Zuverlässigkeit der Datensysteme sicher.

Fähigkeiten und Eigenschaften für den Erfolg

• Starke technische und architektonische Denkweise: Die Fähigkeit, skalierbare Datenlösungen zu entwerfen und gleichzeitig bei der Implementierung praktisch zu bleiben
• Technische Tiefe in Python: Erfahrung im Schreiben von sauberem, modularem und produktionsreifem Code
• Modernes Datenstack-Know-how: Erfahrung mit Plattformen wie Databricks, Spark und verteilten Datenverarbeitungssystemen
• Kenntnisse der Datenarchitektur: Ausgeprägtes Verständnis von Data Lakes, Lakehouses und Warehouse-Architekturen und wann diese eingesetzt werden sollten
• Cloud-Erfahrung: Praktische Erfahrung in der Entwicklung von Datenlösungen auf AWS, Azure oder GCP
• Problemlösung und Führungsqualitäten: Die Fähigkeit, komplexe Probleme aufzuschlüsseln, Teams zu leiten und technische Entscheidungen zu treffen
• Kollaborationsfähigkeiten: Starke Kommunikationsfähigkeiten für die Zusammenarbeit mit technischen und geschäftlichen Interessengruppen

Um sich für diese Stelle zu qualifizieren, müssen Sie

• 5+ Jahre Erfahrung im Data Engineering mit einer Mischung aus Design/Architektur und praktischer Entwicklung
• Python-Kenntnisse auf Expertenniveau beim Aufbau skalierbarer Datenpipelines in Produktionsumgebungen
• Starke Erfahrung mit PySpark und verteilten Datenverarbeitungs-Frameworks
• Erfahrung mit Workflow-Orchestrierung (Apache Airflow, Prefect oder ähnlich)
• Fortgeschrittene SQL-Kenntnisse mit Erfahrung in relationalen und NoSQL-Datenbanken
• Erfahrung mit Cloud-Plattformen (AWS, Azure oder GCP) und Datendiensten
• Erfahrung in der Gestaltung von Datenarchitekturen (Data Lakes, Lakehouse, Medallion-Architektur usw.)
• Ausgeprägtes Verständnis von CI/CD, Versionskontrolle (Git) und DevOps-Verfahren für Datenpipelines

Idealerweise haben Sie auch

• Erfahrung in der Entwicklung von End-to-End-Unternehmensdatenplattformen
• Erweiterte Databricks-Funktionen wie Delta Lake, MLflow und Leistungsoptimierung
• Erfahrung mit Data Governance Frameworks und Datenqualitätstools
• Kenntnisse von Datenmodellierungstechniken (dimensionale und normalisierte Modelle)
• Vertrautheit mit Data Science und Pipelines für maschinelles Lernen
• Beiträge zu Open-Source-Projekten oder internen Beschleunigern/Frameworks
• Bachelor- oder Master-Abschluss in Informatik, Ingenieurwesen oder einem verwandten Bereich

Wonach wir suchen
Wir suchen jemanden, der:

• Kann ein Gleichgewicht zwischen Architekturdenken und praktischer Ausführung herstellen
• Nachgewiesene Erfahrung beim Aufbau und der Skalierung von Produktionsdatensystemen
• Übernimmt die Verantwortung für technische Entscheidungen und das Systemdesign
• Kann Teammitglieder anleiten und fördern
• Kommuniziert effektiv mit technischen und nicht-technischen Interessengruppen
• ist proaktiv bei der Übernahme moderner Datentechnologien und bewährter Verfahren

• share
• 
• 
• 
•