GCP-Daten-Ingenieur

Dateningenieur - Senior
12 Monate
Vollständig ferngesteuert (Sie müssen sich in Polen befinden)
Die Aufgaben und Verantwortlichkeiten des Data Engineer bestehen in der Implementierung und dem Entwurf skalierbarer, optimierter Datenpipelines für die (Vor-)Verarbeitung von ETL für maschinelle Lernmodelle.
Erforderliche Qualifikationen - Senior
Must Have - einschlägige Erfahrung auf:
Implementierung und Entwurf skalierbarer, optimierter Datenpipelines für die (Vor-)Verarbeitung von ETL für maschinelle Lernmodelle.
Praktische Anwendung von Technologien und Frameworks, die in ML verwendet werden, wie Sklearn, MLFlow, TensorFlow
Aufbau komplexer Datenpipelines, z.B. ETL
Erfahrung in der Arbeit in einer Cloud-Umgebung, Daten-Cloud-Plattformen (z.B. GCP)
Verständnis von Code-Management-Repositories wie GIT/SVN
Vertraut mit Software-Engineering-Praktiken wie Versionierung, Testen, Dokumentation, Code-Review
Erfahrung mit Apache Airflow
Erfahrung mit der Einrichtung von SQL- und noSQL-Datenbanken
Erfahrung mit Überwachung und Beobachtbarkeit (ELK-Stack)
Einsatz und Bereitstellung mit Automatisierungstools, z.B. Docker, Kubernetes, Openshift, CI/CD
Kenntnisse der MLOps Architektur und Praktiken
Einschlägige Berufserfahrung in ML-Projekten
Kenntnisse der Datenmanipulation und -transformation, z.B. SQL,
Einrichten/Fehlerbehebung von SQL- und NoSQL-Datenbanken