Data Engineer Databricks - Boulogne-Billancourt, France - Comet

Comet
Comet
Entreprise vérifiée
Boulogne-Billancourt, France

il y a 3 semaines

Sophie Dupont

Posté par:

Sophie Dupont

beBee Recruiter


Description
Mission intégrée à la direction Data du client.

L'objectif est d'utiliser le projet Open Source Databricks Migrate pour déplacer les clusters, pools, jobs, notebooks, experiments... d'un workspace vers un autre se trouvant dans un sous-réseau privé. Ceci afin d'être conforme au TF1 Security Framework, et aux préconisations de l'audit de Sécurité Bouygues 2020.

La stratégie de bascule itérative des jobs via l'orchestrateur Airflow est déjà établie et partagée auprès des équipes Data Engineering, Data Science et Analytics.

**Livrables attendus**:
Migrer le workspace Databricks du Digital Data Lake
Migrer le workspace Databricks du Data Hub Pub
Migrer le workspace Databricks de l'équipe BI

**Périmètres fonctionnels de la mission**:
Databricks - Confirmé - Impératif
Python - Confirmé - Impératif
Sécurité - Junior - Souhaitable
Réseau - Junior - Souhaitable

Plus d'emplois de Comet