Data Engineer Azure - Paris, France - Comet

Comet

Entreprise vérifiée

Paris, France

il y a 2 semaines

Posté par:

Sophie Dupont

beBee Recruiter

Description

Azure, minimum 3 ans
- Expérience architecture Lakehouse, minimum 2 ans
- PySpark, minimum 5 ans
- Databricks, minimum 5 ans
- SQL, minimum 3 ans
- Maitrise de CI/CD, Azure DevOps, minimum 3 ans
- Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Agile, minimum 1 an
- Conception et modélisation des données au niveau d'un Data Lake (format Parquet, Delta table, )
- Construction des pipelines de données pour collecter, transformer et traiter des données dans le Data Lake

Le client recherche un Data Engineer Sénior avec une forte expertise sur Azure, Databricks, PySpark et SQL.
- Développement et l'implémentation de solutions Big Data Analytics
- Analyse du besoin, étude d'impacts et conception de la solution technique
- Force de proposition et aptitude à partager son savoir auprès des membres de l'équipe.
- Rigueur, réactivité, bon relationnel, aisance rédactionnelle
- Développements de notebooks (ex : Databricks) de traitement avancés des données
- Mise en place de traitement d'alimentation d'une base de données SQL (tables de faits, agrégats, procédures stockées,..)
- Cloud Datawarehousing (tuning, optimisation de traitements et requêtes SQL)
- Rédaction de documentation technique (Dossier d'Analyse Technique, release delivery note,.)
- Revue de code
- Réalisation de tests unitaires
- Maintenance corrective et évolutive
- Livraison dans un environnement Devops, CI/CD et outils associés