Description
Dans le cadre de la mise en place du projet Data Finance nous recherchons un data engineer confirmé. - Contexte : le projet Data Finance à pour objectif de mettre a disposition des données consolidé de différente source (base de données relationnelle, SAP, base de données Iaas) dans un modèle de donnée modélisé en Etoile a des fins d'analyse financier. - Environnement technique : Azure DataFactory, Databricks, Pyspark, SQL, Azure devops, Blob Storage. - Mission du candidat : Développer des pipeline d'ingestion des données dans le datalake avec datafctory Développer des flux de transformation de données via Python/spark/ Pyspark Databricks. Mettre en place des pipeline CICD azure devops Participé au re factoring du code existant Être garant de la qualité du code et le bon respect des norme de développement Mis en place des test unitaire. Mise en place du monitoring et de la supervision de l'application datafinance. Profil candidat: PYTHON / PYSPARK / SPARK ExpertDatabricks/ datafactory/ azure devops Expert Integration GIT - Compétences requises : - Une bonne maitrise SQL / Pyspark / SPARK. -Avoir au moins 6/7 ans d'expérience en tant que Data engineer / utilisation de databricks. - Une connaissance environnement Cloud (Microsoft Azure), GIT, Devops - Une bonne communication et être fort de proposition. - Connaissance des bonnes pratique de développement.
