Data Engineer - Nantes, France - Cellenza Grand-Ouest

Cellenza Grand-Ouest

Entreprise vérifiée

Nantes, France

il y a 2 semaines

Posté par:

Sophie Dupont

beBee Recruiter

Description

En tant que Data Engineer, vous mettez en place des plateformes Data et vous répondez aux différents besoins client suivants:

- Compréhension des besoins métiers pour une meilleure agilité dans le traitement des données.
- Ingestion des données en batch et/ou en streaming
- Organisation du Data Lake selon les bonnes pratiques en suivant le pattern Bronze, Silver, Gold.
- Traitement de la donnée, initialisation de l'historique et mise en place de l'intégration du Delta
- Mise à disposition de projets consommateurs du Silver : BI, ML, API
- Industrialisation des modèles ML
- Tests & Déploiement
- Garantir la qualité des données
- Assurer une continuité du projet avec les équipes opérationnelles.

**Voici un exemple de missions de référence réalisées par nos Data Engineer**:
Chez l'un de nos clients, nos Data Engineers ont industrialisé un PoC de Data Science. L'objectif était d'optimiser l'usage des fours d'alliage afin d'améliorer la qualité de production des métaux vendus. Ils ont mis en place:

- L'Infra as Code et CI/CD
- L'ingestion des sources de données via des APIs
- L'organisation et la sécurité du Data Lake
- La création des pipelines Data
- L'insertion des données en sortie du pipeline Data dans une base Postgres pour servir un backend
- L'optimisation des données afin d'améliorer la qualité et la compréhension
- L'optimisation du code

**Vous êtes fait(e) pour nous rejoindre si**:
Vous avez au moins 3 ans d'expérience dans le Data Engineering

Vous comptez déjà une expérience dans l'environnement Azure

Vous avez déjà mis en place des streams de donnée temps réel avec Apache Kafka

Vous avez déjà implémenté Apache Spark (PySpark/Scala)

Vous avez déjà mis en place de l'ordonnancement via Airflow

Vous maîtrisez les langages Python, Scala.

Avoir déjà travaillé avec la stack ELK (Elastic Search, Logstash, Kibana) est un plus.

La maitrise des concepts CI/CD sera fortement appréciée

Excellence technique et méthodologique, sens du service, partage et collaboration sont vos maîtres-mots

Type d'emploi : Temps plein, CDI

Rémunération : 37 000,00€ à 60 000,00€ par an

Lieu du poste : Télétravail hybride Nantes)