Data Engineer - Ivry-sur-Seine, France - Ec

Entreprise vérifiée

Ivry-sur-Seine, France

il y a 2 semaines

Posté par:

Sophie Dupont

beBee Recruiter

Description

**Descriptif de poste**:
Au sein de la Direction Support et Organisation, la DSI est composée de 5 services:

- Service Solutions Finance & Qualité,
- Service Solutions Client,
- Service Solutions Offre,
- Service Support Utilisateurs,
- Service TECH,

Le Service TECH a pour mission:

- D'animer les constructions stratégiques SI et technologies,
- D'explorer et d'innover en technologie,
- De fournir et d'opérer des infrastructures sécurisées,
- D'apporter de l'expertise aux développeurs,
- D'opérer la sécurité,

Nous recherchons pour le Service Tech un(e) Data Engineer. Rattaché(e) au Responsable Développement, vos responsabilités sont les suivantes:

- Conception des pipelines de données sur Google Cloud Platform (GCP) : Concevoir, développer et maintenir des pipelines de données robustes et évolutifs en utilisant les services et les outils GCP tels que BigQuery, Pub/Sub, Cloud Storage, Cloud Composer etc. pour collecter, stocker et transformer les données de manière fiable et sécurisée.
- Intégration de différentes sources de données : Travailler avec les équipes fonctionnelles pour comprendre les besoins de données, identifier les sources de données pertinentes et les intégrer dans les pipelines de données sur GCP. Assurer la cohérence et l'intégrité des données lors de leur ingestion.
- Transformation et qualité des données : Mettre en place des processus de transformation et de contrôle des données pour garantir leur qualité et leur cohérence. Utiliser des langages de programmation tels que SQL et Python et des outils tels que DBT pour effectuer des opérations de transformation et d'enrichissement des données, d'agrégation pour alimenter les cas d'usages métier.
- Optimisation des performances : Analyser les performances des pipelines de données, identifier les dérives et proposer des améliorations pour optimiser les temps de traitement et assurer une scalabilité adéquate ;
- Sécurité et gouvernance des données : Assurer la sécurité des données tout au long des pipelines en mettant en place des mécanismes de contrôle d'accès et de suivi. Garantir la conformité réglementaire (RGPD) et la confidentialité des données lorsque cela est nécessaire ;
- Documentation : Rédiger la documentation technique (spécifications, documents d'exploitation,) afin d'assurer la capitalisation ;
- Industrialisation et déploiement : Mettre en place des pipelines CI/CD pour automatiser le déploiement, les tests, et la gestion des développements ;
- Collaboration avec les équipes : Travailler en étroite collaboration avec les squads big data, les équipes de l'intégrateur et de la DSI ainsi que les métiers pour comprendre leurs besoins en matière de données et fournir des solutions adaptées sur GCP. Contribuer à la planification des cas d'usages, assister les PO dans la recette, etc. ;
- Production et maintenance : Contribuer au support de production, à la correction des incidents et des anomalies, implémenter les évolutions fonctionnelles et techniques pour garantir la stabilité des traitements en production.

**Profil recherché**:

- Vous êtes issu(e) de formation supérieure big data et vous justifiez expérience que Data Engineer avec une expertise spécifique sur Google Cloud Platform (GCP) sur des projets data intégrant d'importants volumes de données (dizaines de milliards de lignes).
- Vous avez de solides compétences en développement et en mise en œuvre de pipelines de données sur GCP, en utilisant des services tels que Cloud Storage, BigQuery, Pub/Sub, Cloud Composer etc. et des outils tels que DBT.
- Vous maîtrisez des langages de programmation tels que Python et SQL. Vous avez une maîtrise des pratiques DevOps, du CI/CD et de l'IaC (Azure DevOps, Jenkins, GitLab, Terraform,..).
- Vous avez une compréhension des concepts relatifs à la protection des données et à la confidentialité (RGPD).
- Doté(e) d'une grande aisance relationnelle, vous avez le sens de l'écoute et de la diplomatie.
- Vous êtes rigoureux(se), vous avez un bon sens relationnel, une bonne capacité de communication et rédactionnelle.

En rejoignant le Galec, vous pourrez valoriser et démontrer votre potentiel, développer vos compétences et acquérir une expérience enrichissante, à travers des passerelles entre les différents marchés et entités du Mouvement

**Compétences**:
#Python # SQL # DevOps # CI/CD # Azure devops # jenkins # Gitlab # terraform