Senior Data Engineer AWS - Paris
il y a 2 jours
Description du poste
Nous recherchons un Data Engineer expérimenté afin de contribuer à la fiabilité, l'automatisation et la scalabilité d'un Lakehouse data.Vous interviendrez sur la conception et l'orchestration de pipelines, l'optimisation des traitements et l'évolution de l'architecture data dans un environnement moderne basé sur AWS.
Vos missions :
Conception & orchestration
Concevoir, développer et maintenir des pipelines Airflow pour l'ingestion et la transformation des données
Mettre en place des frameworks et mécanismes d'automatisation
Garantir la robustesse, la modularité et la résilience des workflows
Traitement & gestion des flux
Développer des composants pour le traitement de fichiers plats (CSV, JSON, Parquet…) et leur exposition via API
Consommer et transformer des flux Kafka avec Spark
Optimiser la performance et le partitionnement des traitements sur de gros volumes
Collaboration analytique
Collaborer avec les Data Analysts pour concevoir des agrégats métiers
Créer et maintenir des vues Athena utilisées dans Tableau
Garantir la cohérence, la fraîcheur et la traçabilité des données
Évolution du Lakehouse
Participer à la conception et à l'amélioration continue de l'architecture
Créer et maintenir des tables de référentiel (clients, contacts, événements, interactions…)
Implémenter ces référentiels avec Iceberg / Hudi
Supervision & DataOps
Assurer la supervision quotidienne des pipelines
Mettre en place alerting et monitoring
Produire et maintenir la documentation technique
Profil candidat:
Minimum 5 ans d'expérience en Data Engineering
Expérience significative en environnement AWS
Expertise dans la mise en production et l'orchestration Airflow
Compétences techniques
Airflow (indispensable)
Spark (indispensable)
SQL / Athena (maîtrise requise)
AWS : S3, Athena, Redshift
Kafka
Python apprécié
Iceberg et/ou Hudi
CI/CD & IaC : Git, GitLab CI, Terraform ou équivalents
Soft Skills
Autonomie, rigueur, sens du delivery
Capacité d'industrialisation et de structuration
Esprit d'équipe et collaboration transverse
Emplois similaires
Un grand groupe industriel busca un Data Engineer senior para intervenir en tareas como la industrialización y montée en charge de sus pipelines data. · ...
il y a 1 mois
Concevoir développer maintenir pipelines de données robustes scalables. · Data Engineer confirmé / senior · Expérience significative sur AWS et Snowflake · ...
il y a 1 mois
Un Data Reply es una filial del grupo Reply que ofrece servicios avanzados de análisis y datos alimentados por IA. · Implementar nuevos casos de uso y pipelines de datos en AWS. · ...
il y a 1 mois
· L'ingénieur Data sera chargé de concevoir développer maintenir pipelines scalables performants ingestion traitement stockage données massives. · ...
il y a 1 mois
Nos buscamos un Data Engineer orientado sobre tecnologías SPARK/SCALA/PYTHON/AWS para nuestro cliente. La misión incluye garantizar la disponibilidad de datos y servicios, comunicarse con los usuarios, responder a demandas de datos , desarrollar correctivos y evolucionar necesari ...
il y a 1 mois
NEXTON recrute un Data Engineer AWS H/F en CDI à Paris. Tu évolueras dans un environnement technologique moderne et ambitieux reposant sur des outils tels qu'AWS, Dataiku, GitLab, Terraform, Snowflake... ...
il y a 1 mois
Dans le cadre du renforcement de ses plateformes data, un grand groupe industriel recherche un Data Engineer senior pour intervenir sur des sujets d?industrialisation. · ...
il y a 1 mois
Rejoignez la Direction DATA d'un grand groupe média d'envergure internationale et participez au développement du Feature Store et des infrastructures supportant les Chatbots IA. · ,Expérience : Solide expérience en Data Engineering, idéalement dans des environnements à forte volu ...
il y a 1 mois
Cherry Pick recherche un ingénieur data AWS pour un client du secteur des médias. · C'est une opportunité pour rejoindre la direction data d'un grand groupe média international. Vous travaillerez sur le développement et la maintenance d'une plateforme big data complexe avec des e ...
il y a 1 mois
Concevoir, développer et maintenir des pipelines de données scalables et performants pour ingérer plus de 100 par jour. · ...
il y a 1 mois
Pulsover recherche un Cloud Engineer expérimenté pour accompagner la croissance de sa société. · AWS · Terraform · Python et scripting · Réseaux · Sécurité · Docker et Kubernetes · ...
il y a 1 mois
Budget : selon le profil · 5 ans d'expérience en gestion de données et programmation dans un contexte de grande volumétrie de données · ...
il y a 1 mois
Nous recherchons un Cloud Platform Engineer AWS pour concevoir des plateformes cloud robustes, industrialisées et sécurisées. Vous travaillerez sur l'automatisation du provisioning des environnements (réseau, IAM, stockage) et optimisez les pipelines CI/CD en collaboration avec l ...
il y a 2 semaines
Nous recherchons un Cloud FinOps Engineer pour structurer et optimiser les consommations financières des environnements cloud. · ...
il y a 3 semaines
Mission principale : concevoir et faire évoluer des architectures data cloud sur AWS. · ...
il y a 1 semaine
Nous recherchons un Cloud Platform Engineer AWS pour concevoir, construire et faire · disposer d''une expérience significative en tant que Platform Engineer ou DevOps sur AWS, · avoir une solide maîtrise de Terraform, · s'être à l''aise avec Kubernetes, · nous aimer les conteneu ...
il y a 1 semaine
Concevoir des pipelines de données robustes sur des environnements cloud AWS · Conception & Développement Data · Architecture & Environnements Cloud · Industrialisation & DataOps · ...
il y a 4 semaines
NEXTON recrute un Data Engineer Cloud AWS H/F, en CDI. · Ton futur environnement de travail : · Concevoir et développer des pipelines de données robustes sur des environnements cloud AWS. · ...
il y a 6 jours
Cherry Pick está buscando a un Data Engineer Python AWS para un cliente en el sector energético. · PYTHON (pandas, pydantic, unit tests, linting ,formatting) – Expert SQL (PostgreSQL,outils clients type DBeaver) – Expert AWS (Lambda ,Step Functions,S3,RDS…) – Confirmé Databrick ...
il y a 1 mois
Vos missions : Accompagner nos équipes dans le conseil, la migration et la modernisation des infrastructures informatiques de nos clients sur AWS... · ...
il y a 1 semaine
Le candidat doit avoir une expérience solide en environnement cloud AWS et être à l'aise sur les sujets d'architecture comme sur le développement. · ...
il y a 1 semaine