Emplois
>
Paris

    Data Engineer Databricks - Paris, France - KLETA

    KLETA
    KLETA Paris, France

    il y a 6 jours

    Default job background
    À temps plein
    Description
    1. Conception de l'architecture de données :
    2. Concevoir et mettre en œuvre une architecture de données robuste et évolutive sur la plateforme Databricks.
    3. Définir les schémas de données, les pipelines ETL et les flux de données pour répondre aux besoins métier.
    4. Développement de pipelines ETL :
    5. Développer des pipelines ETL pour extraire, transformer et charger les données à partir de sources variées vers le lac de données Databricks.
    6. Utiliser des outils comme Apache Spark pour traiter de gros volumes de données de manière efficace et distribuée.
    7. Optimisation des performances :
    8. Optimiser les requêtes Spark pour améliorer les performances des traitements de données.
    9. Utiliser des techniques telles que le partitionnement, la mise en cache et la gestion de la mémoire pour optimiser l'exécution des jobs Spark.
    10. Gestion des données en temps réel :
    11. Mettre en place des pipelines de traitement de données en temps réel à l'aide de technologies comme Apache Kafka et Apache Spark Streaming.
    12. Traiter les flux de données en continu pour fournir des analyses en temps réel et des insights instantanés.
    13. Gestion de la qualité des données :
    14. Mettre en place des contrôles de qualité des données pour garantir l'intégrité et la fiabilité des données.
    15. Développer des processus de nettoyage, de normalisation des données pour maintenir leur qualité.
    16. Sécurité des données :
    17. Mettre en place des mesures de sécurité pour protéger les données sensibles et confidentielles.
    18. Utiliser des fonctionnalités de sécurité avancées de Databricks telles que le chiffrement des données et la gestion des accès pour garantir la confidentialité et l'intégrité des données.
    19. Automatisation des workflows :
    20. Automatiser les workflows de traitement de données en planifiant et en orchestrant les jobs ETL à l'aide de Databricks Jobs ou d'autres outils de planification.
    21. Mettre en place des déclencheurs pour déclencher des actions en réponse à des événements spécifiques sur la plateforme de données.
    22. Surveillance et gestion des opérations :
    23. Surveiller les performances et la santé de la plateforme de données en utilisant des outils de surveillance comme Databricks Metrics et Databricks Monitoring.
    24. Gérer les incidents et les problèmes opérationnels en assurant une disponibilité continue des services de données.
    25. Collaboration avec les équipes métier :
    26. Travailler en étroite collaboration avec les équipes métier pour comprendre leurs besoins en matière d'analyse de données et de reporting.
    27. Fournir un support technique et des conseils pour aider les utilisateurs à accéder et à analyser les données sur la plateforme Databricks.
    28. Veille technologique :
    29. Suivre les évolutions dans le domaine du Big Data et du traitement des données pour intégrer les nouvelles technologies et les meilleures pratiques dans la plateforme de données Databricks.
  • Comet

    Data Engineer Databricks

    il y a 16 heures

    Comet Boulogne-Billancourt, France

    Mission intégrée à la direction Data du client. · L'objectif est d'utiliser le projet Open Source Databricks Migrate pour déplacer les clusters, pools, jobs, notebooks, experiments... d'un workspace vers un autre se trouvant dans un sous-réseau privé. Ceci afin d'être conforme au ...

  • VISIAN

    Data Engineer Databricks

    il y a 6 jours

    VISIAN Paris, France

    Data Engineer confirmé ayant une expérience de 3 à 5 ans sur des projets de tranformation de données dans un environnement cloud. Le candidat sera responsable de migrer des flux ETL développés sur Informatica vers Databricks. Une connaissance d'informatica et AWS est très appréci ...

  • VISIAN

    Data Engineer Databricks

    il y a 5 jours

    VISIAN Paris, France contract

    Data Engineer confirmé ayant une expérience de 3 à 5 ans sur des projets de tranformation de données dans un environnement cloud. · Le candidat sera responsable de migrer des flux ETL développés sur Informatica vers Databricks. · Une connaissance d'informatica et AWS est très app ...

  • VISIAN

    Data Engineer Databricks

    il y a 2 jours

    VISIAN Paris, France Contract

    Data Engineer confirmé ayant une expérience de 3 à 5 ans sur des projets de tranformation de données dans un environnement cloud.Le candidat sera responsable de migrer des flux ETL développés sur Informatica vers Databricks.Une connaissance d'informatica et AWS est très appréciée ...

  • VISIAN

    Data engineer databricks

    il y a 1 jour

    VISIAN Bagneux, France À temps plein

    Le data engineer intègre une équipe en charge du lakehouse. De nombreuses challenges techniques sont attendus, la maitrise de l'outil DATABRICKS est un pre requis. Focus sur ses activités : -Contribue à la conception de outils de traitement BigData (Ingestion / Traitement / Analy ...

  • VISIAN

    Data engineer databricks

    il y a 6 jours

    VISIAN Bagneux, France Freelance

    Le data engineer intègre une équipe en charge du lakehouse. De nombreuses challenges techniques sont attendus, la maitrise de l'outil DATABRICKS est un pre requis. · Focus sur ses activités : · -Contribue à la conception de outils de traitement BigData (Ingestion / Traitement / A ...

  • Visian

    Senior Data Engineer Databricks

    il y a 3 jours

    Visian Paris, France

    La Direction des Systèmes d'Information de notre client grand compte dans l'énergie recherche un profil Data Engineer Databricks Senior pour concevoir, développer et maintenir les architectures Data nécessaires à l'exploitation de ses données par les analystes métiers et data sci ...

  • Talan

    Big Data Engineer Databricks Senior

    il y a 5 jours

    Talan Paris, France À temps plein

    Company Description · Talan est un groupe international de conseil en transformation et en innovation par la technologie, créé en 2002. · Nos 5000 consultantes et consultants partagent à travers le monde l'audace d'innover, le goût de l'excellence, et l'envie de relever les déf ...

  • Talan

    Big Data Engineer Databricks confirmé

    il y a 1 jour

    Talan Paris, France À temps plein

    Job Description · Nous sommes à la recherche d'un Big Data Engineer Databricks confirmé qui sera en charge de l'intégration des données : acquisition, préparation, modélisation et stockage, exposition, . Vous devrez faire preuve d'un état d'esprit à la fois innovant, méthodique, ...

  • Talan

    Big Data Engineer Databricks Senior

    il y a 3 jours

    Talan Paris, France À temps plein

    Job Description · Nous sommes à la recherche d'un Big Data Engineer Databricks Sénior qui sera en charge de l'intégration des données : acquisition, préparation, modélisation et stockage, exposition, . Vous devrez faire preuve d'un état d'esprit à la fois innovant, méthodique, or ...

  • Talan

    Big Data Engineer Databricks confirmé

    il y a 1 jour

    Talan Paris, France À temps plein

    Company Description · Talan est un cabinet de conseil en innovation et transformation par la technologie. · Depuis 20 ans, Talan conseille les entreprises et les administrations, les accompagne et met en œuvre leurs projets de transformation et d'innovation en France et à l'inte ...

  • BI NEWVISION

    Data Engineer Senior

    il y a 1 jour

    BI NEWVISION Paris, France

    Nous recherchons un Data Engineer Sénior H/F avec une forte expertise sur Azure, Databricks, Spark, Scala. · Développement et l?implémentation de solutions Big Data Analytics · Analyse du besoin, étude d?impacts et conception de la solution technique · Conception et modélisation ...

  • Comet

    Data Engineer Azure

    il y a 16 heures

    Comet Paris, France

    Azure, minimum 3 ans · - Expérience architecture Lakehouse, minimum 2 ans · - PySpark, minimum 5 ans · - Databricks, minimum 5 ans · - SQL, minimum 3 ans · - Maitrise de CI/CD, Azure DevOps, minimum 3 ans · - Connaissance des outils Agile (JIRA) et ayant déjà travaillé en mode Ag ...

  • ITIZEN

    Data Engineer

    il y a 6 jours

    ITIZEN Paris er, France

    Descriptif du poste · Data Engineer - Paris ou Bordeaux - 1 mois sur site puis 90% full remote · Mission: · - Accompagnement des Data Scientists lors de leur mise en prod · - Optimisation de la CI/CD... · Pré-requis : forte exepertise en ML et/ou Data, NLP et traitement d'image · ...

  • Databricks

    Senior Specialist Solutions Engineer

    il y a 6 jours

    Databricks Paris, France

    As a Senior Specialist Solutions Engineer (data engineering, analytics, AI/ML/DS, big data, public cloud), you will guide the technical evaluation phase in a hands-on environment throughout the sales process. You will be an important part of the sales team, being a technical advi ...

  • Databricks

    Senior Delivery Solutions Architect

    il y a 1 semaine

    Databricks Paris, France

    As a Senior Delivery Solutions Architect (Sr DSA), you will play an important role during this journey. You will collaborate with our sales and field engineering teams to accelerate the adoption and growth of the Databricks platform in your accounts. As a Sr DSA, you will help en ...

  • Databricks

    Manager, Specialist Solutions Architect

    il y a 6 jours

    Databricks Paris, France

    The SSA Team is engaged in our most important and complex customer engagements, providing deep technical expertise to both our new and existing customers. Your team provides specialist expertise to the Solution Architect (SA) and Sales teams who develop and oversee the technical ...

  • Gentis Recruitment SAS

    Dev Python Forecasting

    il y a 5 jours

    Gentis Recruitment SAS Paris, France

    Nous recherchons un(e) développeur(se) python passionné(e) pour rejoindre notre équipe et contribuer à la création d'une librairie Python (un SDK) à destination de nos data engineers et de nos data scientists. · Cette librairie servira de base à nos équipes Quants pour qu'ils dév ...

  • COMPAGNIE DES ALPES

    Lead Tech Data Marketing Parcs de Loisirs

    il y a 1 semaine

    COMPAGNIE DES ALPES Paris e, France

    **Description entreprise**: · La CDA c'est aujourd'hui 10 domaines de montagne parmi les plus beaux des Alpes et 12 parcs de loisirs réputés, mais aussi le 1er réseau d'agences immobilières des Alpes, le 1er tour opérateur de montagne français et de l'activité outdoor · **Son obj ...

  • Talan Solutions

    Data Engineer Snowflake

    il y a 4 jours

    Talan Solutions Paris, France

    Company Description · Vous êtes passionné par le digital, la data, l'ioT ou l'IA et souhaitez rejoindre une équipe dynamique et ambitieuse à taille humaine ? · **N'attendez plus et rejoignez Talan ** · Depuis plus de 15 ans, nous conseillons les entreprises et les administrations ...