Data Engineer - Courbevoie, France - NAVYA SA
Description
Les objectifs du pôle data au sein de Navya sont de permettre la remontée des données de manière fiable et automatisée au sein de nos espaces de stockage, puis de les traiter par des process automatiques d'ETL, enfin de les analyser et de proposer des indicateurs nous permettant de mieux comprendre les roulages de nos véhicules sur sites d'essais ou clients, et de valider la qualité des algorithmes proposés par Navya.L'équipe Data Engineering du pôle data est responsable d'alimenter l'équipe de data analyse en données prétraitées, d'une manière fiable et automatisée.
**Elle est responsable**:
- De la gestion de l'ensemble de la plateforme data de Navya (plateforme Databricks et stockage sur AWS)
- Du data mining (sources existantes, et nouvelles sources de données à créer)
- Des process d'ETL (permettant de cleaner et d'organiser les données)
Missions
Les activités du poste seront centrées autour des sujets:
- Maintien des activités sur l'ETL de la plateforme data (ETL des données NavyaLead principalement, recovering, updates, debug )
- Reprise des activités d'ETL des logs snowcone
- Travail sur refacto de l'ETL actuel de log (spark loglib) en intégrant les features développées dans rec_extractor
- Lancement du sujet d'annotation de logs
- Création de framework d'annotation
- Reprise et continuité du travail sur shifu sur la partie plot et reporting
- Reprise des sujets de récupération de données
- Amélioration de S3-log sorter
- Industrialisation du projet track events (partie création et mise à disposition des données sous forme de table)
- Reprise des activités DE tournant autour de la plateforme AWS
- Formation sur AWS
- Gestion des groupes / droits / life cycle des données à pourvoir modifier et gérer
- Reprise des sujets de framework de rejeu d'algorithme dans le cloud (parrot)
- Non priorisé en ce moment, en lien avec I&A à créer
- Maintien de la plateforme data en condition opérationnelle
La présente liste n'a aucun caractère exhaustif et pourra évoluer en fonction des besoins de l'entreprise.
**Compétences techniques requises**
- Une expérience de data engineering supérieure à deux ans
- Une connaissance approfondie de l'environnement AWS
- Une maitrise des langages python, spark
- Anglais courant
**Compétences appréciées**
- Une expérience sur la plateforme databricks
- Une appétence pour la sécurité et l'industrialisation des process (appétence devops avec des connaissances terraform/ansibleautomatisation et déploiement via CLI & Gitlab CI/CD)
- Un intérêt pour le monde du véhicule autonome et pour la chaine globale de valeur data (data engineering, science, analyse et visualisation)
Type d'emploi : Temps plein, CDI
Salaire : 41 000,00€ à 55 000,00€ par an
Avantages:
- Épargne salariale
- Participation au Transport
- RTT
- Titre-restaurant
Programmation:
- Travail en journée
Lieu du poste : Télétravail hybride Courbevoie)
Plus d'emplois de NAVYA SA
-
Administrateur Système Et Réseau Linux
Villeurbanne, France - il y a 3 semaines
-
Machine Learning Perception
Courbevoie, France - il y a 2 semaines
-
Chargé(E) D'intégration Et Validation
Villeurbanne, France - il y a 2 semaines