Data Engineer - Paris, France - OCTOGONE

OCTOGONE
OCTOGONE
Entreprise vérifiée
Paris, France

il y a 6 jours

Sophie Dupont

Posté par:

Sophie Dupont

beBee Recruiter
Description
2.1 Objectifs
La mission proposée a pour objectifs principaux les 4 volets suivants, qui concerne le projet IVC en général ou bien dans
les instances de chacun de ces use cases composants, que ce soient existants ou à venir:
Conception/Préconisation
Réalisation
MCO
Coordination/Communication
2.2 Description détaillée des tâches qui constituent la mission
Conception/Préconisation
Porteur de la création des nouveaux use cases
Analyses de besoins métier concernés
Conception du nouveau use case big Big Data en adéquation avec l'architecture fonctionnelle
Interne 2
Vérification et analyse des impacts techniques des solutions retenues (vue logique et vue physique), en lien avec
l'architecte de l'infrastructure Big data.
Analyse de la qualité des données sources et conception des règles de mise en qualité
Conception de la stratégie de recette (cas de tests, cahier de recette)
Pour tout nouveau projet/use case ou toute nouvelle technologie, participation à l'étude d'impact sur l'architecture
existante ou prévisionnelle et préconisation des choix techniques en vue d'assurer la cohérence de cette évolution
Réalisation
Participe à la mise en œuvre l'architecture fonctionnelle choisie
Développe la solution retenue (flux entrant, ingestion des bases, transformation, extraction, flux sortant, etc.):
scripts de traitement, ordonnancement, tableaux de bord
Réalise les tests et recettes adéquats
MCO
Maintenance en condition opérationnelle des uses cases
Réalisation de l'évolution le cas échéant tout en assurant la non-régression des produits proposés.
Coordination/Communication
Coordination des échéances de pour le(s) use-case(s) dont le consultant est responsable.
Travail en équipe avec le Métier et l'architecture du SI
Documentation des choix techniques et des fonctionnements des use cases IVC
2.3 Résultats attendus et/ou livrables avec échéancier si besoin
Points hebdomadaires d'avancement
Rapports d'activité semestriel

Profil(s) le(s) plus à même de remplir la prestation (compétences requises et souhaitées):
Maitrise des frameworks bigdata (Hadoop, Hive, Spark, Tez, etc.) et les outils associés d'exploration/de
manipulation (Ambari, Zeppelin, HDFS, etc.)

**Maitrise des langages de programmation suivantes**: bash, sed, awk, hql/sql, python/scala
Solide expérience pour les plateformes HDInsight, databricks et éventuellement AWS
Solide expérience de cloud storage Azure Data Lake Storage Gen2.
Expériences d'usage d'un outil d'ordonnancement des jobs, de préférence Rundeck
Maitrise de différents formats de données SQL (managed/external), Parquet, XML, JSON, CSV, XLSX et
éventuellement Delta

**5.2 Environnement technique**:
**OS**: Windows et Linux

**Poste de travail**: PC et VM
Plus d'emplois de OCTOGONE
Voir tous les emplois de OCTOGONE