Data Engineering - Bordeaux, France - TRSB

TRSB

Entreprise vérifiée

Bordeaux, France

il y a 3 semaines

Posté par:

Sophie Dupont

beBee Recruiter

Description

Contexte de la prestation

Mission en liaison étroite avec les développeurs de Bordeaux.

Au sein de l'équipe, collaboration avec des prestataires extérieurs et avec d'autres équipes internes de notre client.

L'objectif de la mission est la prise en charge des travaux de l'écosystème lac de données et migration des données d'un projet en langages SPARK-SCALA vers le Data Lake de notre client.

Définition de la prestation

Rôles:
Mission de support aux agents de notre client afin de les aider à acquérir rapidement, suffisamment d'autonomie pour être en mesure de réaliser seuls les travaux de traitements et manipulation de données au sein de couloir de valorisation spécifique au projet.

Assister l'équipe dans les travaux lac des données Spark-Scala en participant au développement de ceux-ci.

Transfert de connaissances et guide vers les bonnes pratiques en matière de gestion lac de données Spark-scala.

Activités principales:
Le prestataire travaillera dans un environnement Hadoop pour lequel une architecture et une matrice technologique ont été déjà définies pour la mise en place des couloirs de valorisation.

Profil recherché:

- Avoir acquis de l'expérience en analyse de données structurées.
- Avoir l'habitude de travailler sur des environnements Hadoop et maîtriser les architectures des traitements distribués et les services Hadoop associés (HDFS, Yarn, Spark.. ) et les solutions liées à la sécurité des accès aux données.
- Motivation, travail en équipe, qualités relationnelles, rigueur, écoute, initiative.

Compétences techniques:

- Maîtrise de l'environnement Hadoop permettant le traitement de manipulation de la donnée et les services Hadoop associés : HDFS, YARN, SPARK ,..

Domaines techniques:
Big Data

Technologies:
Linux

SQL SERVER

Autres compétences:
Maîtrise des langages structurés et de la conception de base de données:
données structurées, non-structurées (géographiques) ;
langage SPARK/Scala ;
Outil jupyter ;
Bases de données : langage SQL.

Outils:
Jupyter ;
Dat-viz : (ex. matplotlib,) et manipulation des cartes géographiques )

Expérience sous environnement LINUX.

Conditions d'exercice : Confidentialité sur l'ensemble du domaine en gestion.