Big Data Developer - Toulouse - BWI

    BWI
    BWI Toulouse

    il y a 1 semaine

    Description

    BWI (Blue Water Intelligence), founded in June 2022 in Toulouse, France, specializes in monitoring global inland surface water reserves assistant by combining in‑situ data, spaceborne observations, and machine learning to enhance hydrological and hydrodynamical models and deliver data and insights to clients. As a provider of scalable, subscription‑based services, BWI focuses on improving hydrological forecasts to address climate change‑induced water stress and improve water management.

    BWI is at the forefront of cutting‑edge hydrological research and innovation. We combine advanced mathematics, physics, and computational expertise to address complex challenges in hydrology, environmental science, and water resource management. We are seeking a dynamic and highly skilled Big Data Engineer to join our team, bridging the gap between science and software development.

    Location: Paris or Toulouse (primarily onsite) – Professional English – 5+ years exp. minimum for application to be considered.

    Role: Big Data Engineer – building and operating data ingestion and processing pipelines for terabytes of weather and hydrological data, ensuring scalable, reproducible, production‑grade delivery of model inputs and outputs.

    Core responsibilities

    • Implement ingestion (batch/streaming), ELT/ETL steps, and data publishing workflows.
    • Handle scientific formats (netCDF, GRIB2) and columnar storage (Parquet); optimize I/O and algorithms.
    • Design storage with eventual‑consistency patterns (atomic publishes, manifests, versioned paths) and a metadata catalog.
    • Partition and parallelize workloads for distributed compute; compact small files and tune for cost/performance.
    • Build and run containerized services and orchestrated workflows; ensure observability, retries, idempotency, and runbooks.
    • Collaborate with scientists to define data models and validation rules.

    Top paradigms & architectural patterns required

    • ELT-first with ETL where needed; streaming/micro‑batch for low‑latency sources.
    • Idempot rencontre enforce, restartable workflows jednod orchestration.
    • Versioned datasets, atomic publish patterns, and catalogue as source of truth.
    • Observability‑driven ops and infra‑as‑code.
    • Python (xarray, netCDF4, pyarrow), PySpark or Dask.
    • AWS (S3, EKS, EC2) or equivalent cloud; Terraform for IaC.

    Must‑haves

    • 3+ years of relevant experience building/operating large data UFC pipeline, out of 5 minimum years of computer science‑related experience in general (ideally as a full‑stack/back‑end/web software engineer).
    • Strong software engineering in Python with testing and CI/CD.
    • Practical experience with partitioning and parallelism.
    • Computer science education.
    • Understanding of architectural patterns in storing & processing large volumes of data.
    • Humility & eag අද accept both full hands‑on coding position or technical leadership depending on circumstances.
    • Clear communication, teamwork, and analytical problem‑solving.

    Nice‑to‑haves

    • Hydrology, meteorology, remote‑sensing, or space‑ground‑segment experience.
    • Understanding of low‑level subjects (memory management, HTTP, S3 implementation).
    • Willingness to develop managerial skills.

    Seniority level


    Mid‑Senior level

    Employment type


    Full‑time

    Job function


    Engineering and Information Technology


    #J-18808-Ljbffr

  • Big Data Developer

    il y a 1 mois

    Réservé aux membres inscrits Toulouse, Occitanie

    BWI (Blue Water Intelligence) is seeking a dynamic and highly skilled Big Data Engineer to join its team in Paris or Toulouse. · ...

  • STAGE – Ingénieur Data Analyst et Développement – F/H

    il y a 1 jour

    Réservé aux membres inscrits Toulouse À temps plein

    Thales est un leader mondial des hautes technologies spécialisé dans trois secteurs d'activité : Défense & Sécurité, Aéronautique & Spatial, et Cyber & Digital. · Sous le pôle Transformation Digitale du service Performance au sein des Opérations France. · ...

  • Data Science Developer Intern

    il y a 1 mois

    Réservé aux membres inscrits Aussonne

    Corteva welcomes talented and motivated individuals to join our internship programme, designed to advance your career and give you an opportunity to contribute to Corteva's mission. · ...

  • Senior Manager AI

    il y a 2 semaines

    Réservé aux membres inscrits Toulouse

    Pour poursuivre sa stratégie Ambition 2030 , PwC investit dans l'IA et les alliances technologiques. · Dans ce contexte, rejoignez notre équipe AI & Data – Senior Manager / Directeur( trice ) Data & AI Business Transformation – Industrie Aerospace & Defense – Toulouse · Vous ête ...

  • Senior Manager AI

    il y a 1 jour

    Réservé aux membres inscrits Toulouse

    PwC poursuit sa stratégie Ambition 2030 portée par l'humain nos engagements responsables sociétaux et soutenus par la technologie dans ce contexte nous investissons sur l'utilisation du cloud de l'IA des alliances technologiques de la réalité virtuelle et de technologies émergent ...

  • Senior Manager AI

    il y a 2 semaines

    Réservé aux membres inscrits Toulouse

    PwC poursuit sa stratégie Ambition 2030 portée par l'humain nos engagements responsables sociétas et soutenus par la technologie. · Rejoignez notre équipe AI & Data Senior Manager Directeur(trice) Data & AI Business Transformation Industrie Aerospace & Defense Toulouse. · ...

  • Key Account Manager Senior Service

    il y a 2 semaines

    Réservé aux membres inscrits Toulouse

    + Piloter la croissance commerciale d'un compte stratégique · + Développer les offres de services autour de plateformes data et solutions digitales. · Formation Bac+5 : école de commerce, d'ingénieurs ou équivalent. · Expérience d'environ 7 ans en développement commercial... ...

  • Senior Manager AI

    il y a 1 semaine

    Réservé aux membres inscrits Toulouse

    PwC poursuit sa stratégie Ambition 2030 , portée par l'humain, · nos engagements responsables, sociétaux et soutenus par la technologie. · Rejoignez notre équipe AI & Data - Senior Manager / Directeur( trice ) Data & AI Business Transformation - Industrie Aerospace & Defense - To ...

  • Data Engineer

    il y a 1 mois

    Réservé aux membres inscrits Toulouse

    Vous rejoignez une équipe Data intervenant sur la conception et la mise en œuvre de plateformes de données au service de programmes aéronautiques et défense. · ...

  • Data Engineer

    il y a 5 jours

    Réservé aux membres inscrits Toulouse

    Se busca Data Engineer para trabajar en una empresa líder en ingeniería e IT servicios con presencia internacional. · Concebir y desarrollar pipelines de datos. · Mantener la calidad y fiabilidad de los tratamientos de datos. · ...

  • Data Engineer

    il y a 1 semaine

    Réservé aux membres inscrits Toulouse

    Celad recherche un data engineer pour intervenir chez l'un de ses clients dans le domaine de l'environnement · Nous poursuivons notre développement et recherchons un(e) Data Engineer pour intervenir chez l'un de nos clients dans le domaine de l'environnement, disposant d'une pla ...

  • Stage Data Analyst Ressources humaines

    il y a 1 mois

    Réservé aux membres inscrits Toulouse

    Le Crédit Agricole Toulouse 31 recrute pour un stage de 6 mois au sein du pôle RH. · Exploration, fiabilisation et structuration des données pour produire des constats quantitatifs utiles aux métiers RH. · Analyse statistique avancée pour des problématiques métiers RH, absentéism ...

  • Plant Digital Business Solutions Professional

    il y a 1 semaine

    Réservé aux membres inscrits Toulouse

    Schaeffler busca un Digital Business Solutions Professional para trabajar en su empresa. · ...

  • Stage Data Science et étude quantitative H/F

    il y a 1 mois

    Réservé aux membres inscrits Toulouse

    +We offer a stage in data science and quantitative studies. You will participate in concrete projects around the valorization of data and AI applied to banking professions. · ++ Etudiant(e) en fin de cursus (Master 2, école d'ingénieur ou équivalent) avec spécialisation en Data S ...

  • Data Engineer

    il y a 1 mois

    Réservé aux membres inscrits Toulouse À temps plein

    Vous rejoignez une équipe Data intervenant sur la conception et la mise en œuvre de plateformes de données au service de programmes aéronautiques et défense. · Maitrise de SQL et des bases de données relationnellesExpérience avec des outils ETL / ELT et pipelines de donnéesKonnai ...

  • Data Engineer

    il y a 1 mois

    Réservé aux membres inscrits Toulouse À temps plein

    Vos rejoignez une équipe Data intervenant sur la conception et la mise en œuvre de plateformes de données au service de programmes aéronautiques et défense. · ...

  • Data Engineer

    il y a 3 semaines

    Réservé aux membres inscrits Toulouse 47.000 € - 55.000 € (EUR)

    Scalian busca un Data Engineer senior para intervenir en la creación de un catálogo de productos de datos robusto. · Cartografar y clasificar los datos. · ...

  • Consultant(e) Cloud Data

    il y a 2 semaines

    Réservé aux membres inscrits Toulouse

    +Participer aux phases de cadrage et de conception de solutions Cloud Data · +Contribuer aux projets de modernisation et de migration de plateformes BI existantes vers Azure · +Accompagner les clients sur leur migration ou déploiement vers Fabric · +Concevoir et développer des pi ...

  • Stage Data Analyst Ressources humaines

    il y a 1 mois

    Réservé aux membres inscrits Toulouse Stage

    Le Crédit Agricole Toulouse 31 recrute un.e stagiaire pour une durée de 6 mois à compter d'avril 2026 au sein de notre Unité Pilotage, Data, outils RH. · ...

  • Data Engineer H/F

    il y a 1 mois

    Réservé aux membres inscrits Toulouse

    Contribuir a proyectos data con impacto y construir KPI para los departamentos. · ...

  • Associate Data Governance Professional

    il y a 1 mois

    Réservé aux membres inscrits Toulouse

    Le rôle consiste à établir et gérer des plans de gouvernance des données en améliorant la qualité des données, en protégeant les données sensibles et en mettant à jour les politiques et standards. · ...

Emplois
>
Toulouse