GCP-Daten-Ingenieur

• Practice Data

• Location Paris, France

GCP-Daten-Ingenieur

Frankreich

Siehe unten mehr Einblicke -

• Entwerfen und implementieren Sie Datenmigrationspipelines von On-Premise-Systemen (z.B. Oracle, SQL Server, Hadoop) zur Google Cloud Platform (BigQuery, Cloud Storage, Cloud SQL).
• Automatisieren Sie umfangreiche ETL/ELT-Workflows mit Dataflow, Dataproc und Cloud Composer (Airflow), um eine nahtlose Dateneingabe und -umwandlung zu gewährleisten.
• Implementieren Sie Datenpartitionierungs-, Clustering- und Optimierungsstrategien in BigQuery, um die Abfrageleistung und Kosteneffizienz zu verbessern.
• Datenvorverarbeitung, Handhabung der Datenpipelines, die die Vorhersagemodelle speisen
• Entwicklung von CI/CD-Pipelines für Daten-Workflows unter Verwendung von Cloud Build, GitLab CI oder Terraform, um eine automatische Bereitstellung und Reproduzierbarkeit zu gewährleisten
• Unterstützung des bestehenden Teams bei der Migration

Anforderungen -

• Mindestens 3-5 Jahre als Dateningenieur
• Erfahrung mit GCP (BigQuery, DataProc, Workflows, Cloud Run)
• Erfahrung mit Terraform, Github Actions
• Big Data Erfahrung - Hauptsächlich mit Spark arbeiten
• Zusätzliche Kenntnisse und Erfahrungen in Java, Hadoop & MongoDB

• share
• 
• 
• 
•