Emplois
>
Paris

    Data Engineer Spark Senior - Paris, France - KLETA

    KLETA
    KLETA Paris, France

    il y a 3 semaines

    Default job background
    Freelance
    Description
    1. Analyse des Exigences :
    2. Collaborer avec les équipes métier pour comprendre les besoins en matière d'analyse de données et de traitement.
    3. Conception de Solutions :
    4. Concevoir des architectures de données et des solutions de traitement distribué en utilisant Apache Spark.
    5. Proposer des modèles de données adaptés aux cas d'utilisation spécifiques.
    6. Développement de Pipelines de Données :
    7. Développer des pipelines de données robustes et évolutifs en utilisant Apache Spark pour l'ingestion, le nettoyage, la transformation et la préparation des données.
    8. Utiliser Spark Streaming pour le traitement en temps réel des flux de données.
    9. Optimisation des Performances :
    10. Optimiser les performances des jobs Spark en ajustant les configurations, en utilisant des techniques de partitionnement et de cache, et en améliorant l'efficacité des transformations.
    11. Gestion des Versions :
    12. Utiliser des outils de contrôle de version pour gérer le code source et les artefacts des pipelines Spark.
    13. Tests et Validation :
    14. Élaborer des stratégies de test pour les pipelines Spark et mettre en œuvre des tests unitaires, d'intégration et de régression.
    15. Valider la qualité des données à différentes étapes du pipeline.
    16. Déploiement et Monitoring :
    17. Déployer les pipelines Spark sur des clusters de production et surveiller les performances en temps réel.
    18. Mettre en place des alertes pour détecter les problèmes de performance ou de disponibilité.
    19. Sécurité :
    20. Implémenter des mesures de sécurité pour protéger les données sensibles tout au long du pipeline.
    21. Utiliser des technologies telles que Kerberos, Ranger, ou des outils de chiffrement pour assurer la sécurité des données.
    22. Documentation :
    23. Documenter les pipelines de données, les flux de travail, les configurations et les bonnes pratiques.
    24. Créer des guides d'utilisation pour les autres membres de l'équipe et les utilisateurs finaux.
  • Sibylone

    Data Engineer senior Spark

    il y a 2 semaines

    Sibylone Paris, France

    SIBYLONE, société de conseil spécialisée dans les systèmes d'information de synthèse et de pilotage, aide ses clients à tirer toute la valeur de leur patrimoine de données, levier stratégique majeur de développement et de rentabilité. · Notre ambition : rendre les différents acte ...

  • Digistrat consulting

    Expert Java Azure Spark senior

    il y a 7 heures

    Digistrat consulting Paris, France permanent

    ? Contexte /Objectifs : · Environnement fonctionnel : référentiels de données de marché · Dans ce cadre, la prestation consistera à/au(x) : · L'amélioration de la qualité du référentiel tant au niveau des données, que des processus et de la gestion des coûts. · L'amélioration tec ...

  • AEROW

    Expert Hadoop

    il y a 2 semaines

    AEROW Paris, France

    Expert sur Cloudera Private, Cloud 7.1.7, Cloudera Manager, Hive, Hue, Impala,Spark, Zeppelin,Ranger,Know,SQL, Zookeeper · Senior sur Teradata, Cognos, Datastage · Expert sur Linux, scripting shell et python · Confirmé sur pilotage de projet, capacité rédactionnelles, CRs · Compé ...

  • BI NEWVISION

    Data Engineer Senior

    il y a 2 semaines

    BI NEWVISION Paris, France

    Nous recherchons un Data Engineer Sénior H/F avec une forte expertise sur Azure, Databricks, Spark, Scala. · Développement et l?implémentation de solutions Big Data Analytics · Analyse du besoin, étude d?impacts et conception de la solution technique · Conception et modélisation ...

  • Coperneec

    Data Scientist Senior Moteurs de Recommandation

    il y a 2 semaines

    Coperneec Paris, France

    -Coperneec · Paris, France · Posted 2 hours ago Permanent Competitive · - Data Scientist Senior Moteurs de recommandation - COPERNEEC**A propos de Coperneec** · Coperneec est un cabinet de conseil spécialiste en développement IT et valorisation de la Data. Nos méthodes et techniq ...

  • AVIV Group

    Data Engineer Senior

    il y a 2 semaines

    AVIV Group Paris, France

    de l'entreprise · Nous sommes l'une des plus grandes sociétés privées de technologie immobilière au monde et une filiale d'Axel Springer. Notre mission est de permettre à chacun de trouver son bien idéal Vous travaillerez avec certaines des plateformes immobilières les plus connu ...

  • Planity

    Senior Data Engineer

    il y a 1 semaine

    Planity Paris, France

    **À propos**: · Tu veux rejoindre le numéro 1 français de la réservation beauté ? · Planity c'est: · - 7 millions d'utilisateurs par mois · établissements partenaires · - 400 collaborateurs · - 200 millions de rendez-vous gérés depuis le lancement de la plateforme en 2017 · **Des ...

  • Databricks

    Senior Specialist Solutions Engineer

    il y a 3 semaines

    Databricks Paris, France

    As a Senior Specialist Solutions Engineer (data engineering, analytics, AI/ML/DS, big data, public cloud), you will guide the technical evaluation phase in a hands-on environment throughout the sales process. You will be an important part of the sales team, being a technical advi ...

  • Data Recrutement

    Analytics Engineer

    il y a 2 semaines

    Data Recrutement Paris, France

    Offre publiée le Paris · - Fonction Data engineer hadoop spark · - Fonction Ingenieur bi etl teradata · - Fonction Data analyst sql r tableau · - Taille entreprise de 51 à 200 · - Télétravail partiel · - Technologies Python · - Technologies Sql · - Expérience 3 à 5 ans · - Statut ...

  • Algolia

    Senior Data Engineer

    il y a 2 semaines

    Algolia Paris, France

    We're on a mission to make Algolia a data-driven organisation, and we're looking for a Senior Data Engineer to join our Data team and help us get there. · - Our Data team aims at helping other teams make better decisions by providing relevant data while ensuring its integrity and ...

  • MLAdvisory

    Manager Quant

    il y a 1 semaine

    MLAdvisory Paris, France

    **Notre cabinet** · MLAdvisory accompagne les institutions financières (banques et gestionnaires d'actifs) sur les fonctions Finance, Finance Durable, Risque et Conformité: · - Stratégie · - Implémentation · - Données, analyses et technologies · - Gestion financière · - Expertise ...

  • Talan Solutions

    Data Engineer Snowflake

    il y a 3 semaines

    Talan Solutions Paris, France

    Company Description · Vous êtes passionné par le digital, la data, l'ioT ou l'IA et souhaitez rejoindre une équipe dynamique et ambitieuse à taille humaine ? · **N'attendez plus et rejoignez Talan ** · Depuis plus de 15 ans, nous conseillons les entreprises et les administrations ...

  • Echo Analytics

    Senior Site Reliability Engineer(Sre)

    il y a 1 semaine

    Echo Analytics Paris, France

    We're on a mission to help organizations contextualize the environment they operate in. · At Echo Analytics, we work with companies from all over the world. We create, combine, and convert thousands of public and private datasets into meaningful geospatial insights and provide th ...

  • Match Group

    Communications Intern

    il y a 3 semaines

    Match Group Paris, France

    **Our Mission** · As humans, there are few things more exciting than meeting someone new. At Tinder, we're inspired by the challenge of keeping the magic of human connection alive. With tens of millions of users, hundreds of millions of downloads, 2 billion uses of the Swipe feat ...

  • Databricks

    Senior Director Professional Services

    il y a 2 semaines

    Databricks Paris, France

    **About the Team** · The EMEA Professional Services Team's mission is to accelerate our customers outcomes and Databricks Lakehouse adoption through delivery excellence and enablement'. We do so by accelerating and de-risking production projects by bringing our best practices and ...

  • Databricks

    Manager, Growth Development

    il y a 2 semaines

    Databricks Paris, France

    Databricks operates at the leading edge of the data and AI space with a mission to help companies solve the world's toughest problems. · We are expanding our Sales Development team at Databricks and are looking for a strategic leader to manage and grow our EMEA Growth Development ...

  • Databricks

    Senior Solutions Engineer

    il y a 1 semaine

    Databricks Paris, France

    At Databricks, our core values are at the heart of everything we do; creating a culture of proactiveness and a customer-centric mindset guides us to create a unified platform that makes data science and analytics accessible to everyone. We aim to inspire our customers to make inf ...

  • Echo Analytics

    Intermediate/senior Data Engineer

    il y a 3 semaines

    Echo Analytics Paris, France

    We're on a mission to help organizations contextualize the environment they operate in. · At Echo Analytics, we work with companies from all over the world. We create, combine, and convert thousands of public and private datasets into meaningful geospatial insights and provide th ...

  • JLL

    Assistant Facilities Manager

    il y a 3 semaines

    JLL Paris, France

    About JLL · - We're JLL—a leading professional services and investment management firm specializing in real estate. We have operations in over 80 countries and a workforce of over 91,000 individuals around the world who help real estate owners, occupiers and investors achieve the ...

  • Databricks

    Senior Delivery Solutions Architect

    il y a 3 semaines

    Databricks Paris, France

    As a Senior Delivery Solutions Architect (Sr DSA), you will play an important role during this journey. You will collaborate with our sales and field engineering teams to accelerate the adoption and growth of the Databricks platform in your accounts. As a Sr DSA, you will help en ...