Leitender Dateningenieur

• Practice Data

• Location Manitowoc, United States

A Series A Business revolutioniert das Einkaufserlebnis mit Hilfe von generativer KI und Rich-Messaging-Technologien, um einen personalisierten Einkaufsassistenten für jeden Verbraucher zu entwickeln.

Die Rolle

Wir suchen einen Principal Data Engineer mit fundierten Kenntnissen in Spark, der das Design und die Dateninfrastruktur leitet. Dies ist eine technische Führungsposition, ideal für jemanden, der sich für den Aufbau skalierbarer Datensysteme, die Betreuung von Ingenieuren und die Gestaltung der Datenstrategie begeistert. Als Vordenker im Data-Engineering-Team werden Sie Systeme entwickeln, die eine leistungsstarke Batch- und Echtzeit-Datenverarbeitung unterstützen, fortschrittliche Analysen ermöglichen und unser KI-Team vorantreiben.

Hauptverantwortlichkeiten:

• Sie sind verantwortlich für die Architektur und die strategische Ausrichtung einer skalierbaren, verteilten Dateninfrastruktur auf Cloud-Plattformen.
• Entwerfen und erstellen Sie ein System zur Datenzusammenstellung, um Produkte, Bewertungen und redaktionelle Daten aus Tausenden von Datenquellen zu normalisieren, abzugleichen und zusammenzuführen.
• Nutzen Sie die neuesten NLP-, LLM- und Einbettungsmodelle, um Datensätze von höchster Qualität mit automatischer Datenprüfung und Berichterstattung zu erzeugen.
• Implementierung von Echtzeit- und Batch-Datenverarbeitungssystemen zur Unterstützung von KI/ML-Anwendungsfällen
• Arbeiten Sie mit Technik-, KI- und Produktteams zusammen, um die Verfügbarkeit und Zuverlässigkeit der Daten sicherzustellen.
• Entwickeln Sie Backend-Datenlösungen, die die Microservices-Architektur und eine schnell skalierende Produktumgebung unterstützen.
• Verwalten und erweitern Sie Integrationen mit E-Commerce-Plattformen von Drittanbietern, um das Datenökosystem von Wizard zu erweitern.
• Mentoring und Unterstützung von Dateningenieuren, Einführung von Best Practices

Sie

• 8+ Jahre Erfahrung in der Softwareentwicklung und im Data Engineering mit nachweislicher Verantwortung für eine produktionsreife Dateninfrastruktur
• Bachelor-Abschluss in Informatik oder einem verwandten Fachgebiet oder gleichwertige praktische Erfahrung.
• Tiefgreifende Erfahrung im Aufbau von ETL-Pipelines mit Apache Spark, Databricks oder Hadoop ist erforderlich.
• Ausgeprägtes Verständnis für verteiltes Rechnen und moderne Datenmodellierungstechniken für skalierbare Systeme.
• Experte in Python mit Erfahrung in der Implementierung von Best Practices in der Softwareentwicklung
• Solides Verständnis von verteiltem Rechnen und Datenmodellierung für skalierbare Systeme.
• Praktische Erfahrung mit relationalen (MySQL / PostgreSQL) und NoSQL (MongoDB, DynamoDB, Cassandra) Datenbanken
• Exzellenter Kommunikator und Kollaborateur, mit einer Leidenschaft für Mentoring, Wissensaustausch und Teamwachstum

Schön zu haben:

• Erfahrung mit der Arbeit in wachstumsstarken Umgebungen in der Anfangsphase
• Vertrautheit mit MLOps-Pipelines und der Integration von ML-Modellen in Daten-Workflows.
• Leidenschaftlich bei der Problemlösung mit einem proaktiven Ansatz, um innovative Lösungen zu finden.

• share
• 
• 
• 
•