- Architecture et Conception :
- Concevoir, mettre en œuvre et maintenir l'architecture Hadoop en fonction des besoins de l'entreprise.
- Élaborer des plans d'expansion et d'évolution pour les clusters Hadoop.
- Collaborer avec les équipes de développement et d'infrastructure pour concevoir des solutions adaptées aux besoins spécifiques du projet.
- Installation et Configuration :
- Installer, configurer et déployer les clusters Hadoop en utilisant les meilleures pratiques.
- Gérer les configurations, les mises à jour et les correctifs des composants Hadoop.
- Surveillance et Optimisation :
- Surveiller les performances du cluster Hadoop et identifier les goulots d'étranglement.
- Optimiser les performances en ajustant la configuration, en mettant à l'échelle le matériel ou en optimisant les requêtes.
- Mettre en place des outils de surveillance et des alertes pour détecter les problèmes potentiels.
- Sécurité :
- Mettre en œuvre et maintenir des stratégies de sécurité robustes pour le cluster Hadoop.
- Gérer l'accès aux données sensibles et aux ressources du cluster en utilisant des technologies telles que Kerberos, LDAP, etc.
- Effectuer des audits de sécurité réguliers et remédier aux vulnérabilités identifiées.
- Gestion des Données :
- Concevoir et mettre en œuvre des pipelines de données pour l'ingestion, le traitement et la distribution des données.
- Assurer la qualité des données en mettant en place des processus de nettoyage, de normalisation et de validation des données.
- Intégrer et gérer différents types de données, y compris les données structurées, semi-structurées et non structurées.
- Automatisation et Orchestration :
- Automatiser les tâches courantes telles que la sauvegarde, la récupération, la gestion des ressources, etc.
- Mettre en place des workflows d'orchestration pour coordonner les tâches complexes entre les différents composants du cluster Hadoop.
- Développement et Support :
- Fournir un support technique aux équipes de développement et d'analyse des données.
- Développer des outils et des scripts personnalisés pour faciliter l'administration et la gestion du cluster Hadoop.
- Collaborer avec les équipes de développement pour optimiser les applications et les requêtes pour le cluster Hadoop.
- Formation et Documentation :
- Former les membres de l'équipe sur l'utilisation et la gestion du cluster Hadoop.
- Documenter les processus, les configurations et les bonnes pratiques pour faciliter la collaboration et le transfert de connaissances.
- Veille Technologique :
- Suivre les tendances et les avancées technologiques dans le domaine du Big Data et de l'analyse de données.
- Évaluer de nouvelles technologies et proposer des solutions innovantes pour améliorer l'efficacité et les performances du cluster Hadoop.
-
Data Engineer Expérimenté
il y a 1 semaine
EY Paris e, FranceEY Consulting accompagne ses clients dans la réussite de leurs transformations stratégiques, au service d'une croissance économique durable et inclusive et de la construction d'un monde du travail meilleur. Notre offre s'articule autour de trois grands domaines d'expertise : Busi ...
-
Cloud Data Engineer
il y a 6 jours
Soft Computing - Epsilon France Paris e, FranceDescriptif du poste · L ambition du Pôle Data Management est d'offrir la meilleure expérience à nos clients grâce à des solutions data-driven et cloud. · Nous les accompagnons sur des projets innovants et la création de modèles s'appuyant sur les nouvelles technologies. · En tant ...
-
Senior Data Engineer
il y a 6 jours
Soft Computing - Epsilon France Paris e, FranceDescriptif du poste · Dans le cadre du développement de notre pôle Data & Analytics Platform (cadrage fonctionnel et technique, définition de use-cases, stratégie des moyens, accompagnement du changement, mise en œuvre, maintenance et commercialisation de solutions), nous recherc ...
-
Data Engineer
il y a 3 jours
MARGO CONSEIL Paris e, FranceDescriptif du poste · **REJOINDRE MARGO ANALYTICS** · **MARGO** est un groupe de conseil en IT qui réunit les meilleurs experts pour répondre aux missions techniques les plus intéressantes des clients les plus exigeants. · Le groupe représente aujourd hui 400 collaborateurs répar ...
-
Data Engineer
il y a 6 jours
Niji Issy-les-Moulineaux, FranceLe pôle Data de Niji c'est avant tout une équipe à taille humaine et pluridisciplinaire, composée de consultants et experts qui conseillent et appuient nos clients sur toutes les étapes du cycle des données: · - de la collecte à la valorisation dans des services innovants, · - en ...
-
Data Engineer
il y a 6 jours
Niji Issy-les-Moulineaux, FranceCDI · - Temps plein · - De 2 à 5 ans d'expérience · - Master, DESS, DEA, Bac+5 · - Conseil Data · Intégrez le nouveau Pôle Data de Niji · **Mission**: · Le pôle Data de Niji c'est avant tout une équipe à taille humaine et pluridisciplinaire, composée de consultants et experts qu ...
-
Dataops Cloudera
il y a 5 jours
BTI - Advisory Courbevoie, FrancePour rejoindre une équipe en charge de maintenir la plateforme Big Data de notre client, nous recherchons plusieurs DataOps pour assurer la gestion des niveaux de services de la plateforme, la coordination des déploiements, ainsi que le maintien en condition opérationnelle de la ...
-
Consultant Confirmé/Senior Data Engineer
il y a 4 jours
Nexialog Paris, France À temps pleinFondé en 2006, Nexialog Consulting est devenu l'un des acteurs majeurs du conseil spécialisé en banque et en assurance, et emploie aujourd'hui 160 collaborateurs dans nos bureaux parisiens. · Nexialog Consulting accompagne ses clients à travers six lignes métiers :Actuariat Cons ...
-
Consultant Confirmé/Senior Data Engineer
il y a 1 jour
Nexialog Paris, France CDIFondé en 2006, Nexialog Consulting est devenu l'un des acteurs majeurs du conseil spécialisé en banque et en assurance, et emploie aujourd'hui 160 collaborateurs dans nos bureaux parisiens. · Nexialog Consulting accompagne ses clients à travers six lignes métiers : · Actuariat Co ...
-
Data Engineer Spark Scala
il y a 1 heure
Steria Paris er, FranceCompany Description Sopra Steria, acteur majeur de la Tech en Europe, reconnu pour ses activités de conseil, de services numériques et d'édition de logiciels, aide ses clients à mener leur transformation digitale et à obtenir des bénéfices concrets et durables. Il apporte une rép ...
-
Data Engineer
il y a 2 jours
Groupe SOPRA STERIA Paris, France permanentCompany Description · Sopra Steria, acteur majeur de la Tech en Europe, reconnu pour ses activités de conseil, de services numériques et d'édition de logiciels, aide ses clients à mener leur transformation digitale et à obtenir des bénéfices concrets et durables. Il apporte une r ...
-
Data Engineer
il y a 1 semaine
Groupe SOPRA STERIA Paris, France permanentCompany Description · Sopra Steria, acteur majeur de la Tech en Europe, reconnu pour ses activités de conseil, de services numériques et d'édition de logiciels, aide ses clients à mener leur transformation digitale et à obtenir des bénéfices concrets et durables. Il apporte une r ...
-
Data Engineer Spark Scala
il y a 5 jours
Groupe SOPRA STERIA Paris, France permanentCompany Description · Sopra Steria, acteur majeur de la Tech en Europe, reconnu pour ses activités de conseil, de services numériques et d'édition de logiciels, aide ses clients à mener leur transformation digitale et à obtenir des bénéfices concrets et durables. Il apporte une r ...
-
Consultant Confirmé/Senior Data Engineer
il y a 6 jours
Nexialog Consulting Paris, France À temps pleinFondé en 2006, Nexialog Consulting est devenu l'un des acteurs majeurs du conseil spécialisé en banque et en assurance, et emploie aujourd'hui 160 collaborateurs dans nos bureaux parisiens. · Nexialog Consulting accompagne ses clients à travers six lignes métiers : · Actuariat Co ...
-
Consultant Confirmé/Senior Data Assurance
il y a 5 jours
Nexialog Paris, France À temps pleinFondé en 2006, Nexialog Consulting est devenu l'un des acteurs majeurs du conseil spécialisé en banque et en assurance, et emploie aujourd'hui 160 collaborateurs dans nos bureaux parisiens. · Nexialog Consulting accompagne ses clients à travers six lignes métiers :Actuariat Cons ...
-
Consultant Confirmé/Senior Data Assurance
il y a 1 jour
Nexialog Paris, France CDIFondé en 2006, Nexialog Consulting est devenu l'un des acteurs majeurs du conseil spécialisé en banque et en assurance, et emploie aujourd'hui 160 collaborateurs dans nos bureaux parisiens. · Nexialog Consulting accompagne ses clients à travers six lignes métiers : · Actuariat Co ...
-
Consultant TALEND Big Data
il y a 2 jours
Trimane Bagneux, FranceFondée en 2005, TRIMANE est un cabinet de conseil et une société de service spécialisée en Data Intelligence (BI et Big Data), notre mission est de créer de la valeur à partir des données disponibles dans les entreprises, en s'appuyant sur des approches algorithmiques innovantes, ...
-
Data Driven
il y a 1 jour
Devoteam Levallois-Perret, France À temps pleinDescription de l'entreprise · Devoteam Data Driven est l'équipe spécialiste de la Data du Groupe Devoteam, leader du conseil Devoteam Data Driven est la branche spécialisée dans le domaine de la Data au sein du Groupe Devoteam, leader du conseil en stratégie digitale, plateforme ...
-
Data Engineer
il y a 1 semaine
Sopra Steria Courbevoie, France À temps pleinDescription de l'entreprise Sopra Steria, acteur majeur de la Tech en Europe, reconnu pour ses activités de conseil, de services numériques et d'édition de logiciels, aide ses clients à mener leur transformation digitale et à obtenir des bénéfices concrets et durables. Il apporte ...
-
Data Engineer Expérimenté H/F
il y a 2 jours
EY La Défense, FranceEY Consulting accompagne ses clients dans la réussite de leurs transformations stratégiques, au service d'une croissance économique durable et inclusive et de la construction d'un monde du travail meilleur. Notre offre s'articule autour de trois grands domaines d'expertise : Busi ...