Daten-Ingenieur

• Practice Data

• Location United States, United States

Ich arbeite mit einem Unternehmen zusammen, das eine Technologieplattform entwickelt hat, die eine durchgängige Orchestrierung von Daten, Systemen und Anwendungen ermöglicht, um vernetzte Räume als integrierte Technologieplattform zu verwalten.

Das Unternehmen sucht einen Data Platform Engineer zur Verstärkung seines Data Platform Teams. In dieser Position sind Sie für die Bereitstellung von Produktionsdatenpipelines für Sport- und Unterhaltungszentren verantwortlich. Sie werden die Pipelines aufbauen und pflegen, die Ticketing-Daten, Kassentransaktionen, Veranstaltungen des Veranstaltungsortes und Fan-Engagement-Signale in die einheitliche Plattform einspeisen und dabei Millionen von Datensätzen in großen Arenen in den Vereinigten Staaten und international verarbeiten.

Sie arbeiten innerhalb von Architekturmustern, die von den Senior Data Engineers festgelegt wurden, aber Sie sind für die gesamte Entwicklung verantwortlich: Implementierung, Tests, Bereitstellung und laufende Zuverlässigkeit. Ihr Code wird an Spieltagen in einigen der größten Stadien der Welt laufen. Wenn Sie jede Woche in die Produktion gehen und sehen wollen, wie Ihre Pipelines aufleuchten, wenn 20.000 Fans durch die Tore gehen, dann ist dies die richtige Rolle für Sie.

Verantwortlichkeiten

• Erstellen, implementieren und pflegen Sie Produktionsdatenpipelines mit Azure Data Factory und Synapse Analytics nach etablierten Architekturmustern.
• Nehmen Sie mit Azure Event Hubs und Stream Analytics große Datenmengen von Veranstaltungsorten, Ticketing-Plattformen und POS-Systemen auf.
• Schreiben und optimieren Sie Datentransformationen in PySpark und Spark SQL innerhalb von Azure Databricks, um Millionen von Datensätzen pro Stunde zu verarbeiten.
• Implementierung und Verwaltung von Datenspeichern in Azure Data Lake Gen2, Synapse und SQL Server auf der Grundlage bestehender Datenmodelle
• Bereitstellung von Azure-Datendiensten mit Terraform innerhalb etablierter Infrastrukturmuster
• Erstellen Sie automatisierte Validierungs- und Einheitstests, um die Zuverlässigkeit der Pipeline und die Datenqualität in mandantenfähigen Umgebungen zu gewährleisten.
• Überwachen Sie die Pipeline, beheben Sie Fehler und lösen Sie Datenprobleme, um die SLA-Verpflichtungen zu erfüllen.
• Arbeiten Sie mit Senior Data Engineers zusammen, um technische Entwürfe in leistungsfähigen, produktionsreifen Code umzusetzen.

Anforderungen

• 3-5 Jahre Erfahrung in der Entwicklung und Bereitstellung von Produktionsdatenpipelines in einer Cloud-Umgebung
• Ausgeprägte Python-Kenntnisse, insbesondere PySpark und pandas, zur Erstellung wiederverwendbarer Transformationsmodule
• Solide SQL-Kenntnisse mit Schwerpunkt auf dem Schreiben effizienter Abfragen für große Datensätze
• Produktionserfahrung mit einem großen Cloud Data Stack (Azure bevorzugt; gleichwertige AWS- oder GCP-Erfahrung ist in Ordnung, da Muster übertragen werden)
• Vertrautheit mit CI/CD-Praktiken und dem Pushen von Code durch automatisierte Pipelines (GitHub Actions, Azure DevOps oder ähnlich)
• Erfolgsbilanz bei der Zuverlässigkeit von Pipelines, nicht nur bei der anfänglichen Erstellung, sondern auch bei der laufenden Überwachung und Reaktion auf Zwischenfälle
• Entwicklermentalität: Sie legen Wert auf Codequalität, Leistung und termingerechte Lieferung
• Erfahrung mit Ticketing-, Point-of-Sale- oder Venue-Management-Datensystemen
• Kenntnisse der Daten der Sport- und Unterhaltungsindustrie
• Erfahrung mit Echtzeit-Analysen und Dashboard-Entwicklung (Power BI, Tableau)

• share
• 
• 
• 
•