AI QA Engineer - Paris - Cavendish Professionals

    Cavendish Professionals
    Cavendish Professionals Paris

    il y a 3 jours

    Description

    Overview

    Our client is seeking an AI QA Engineer to ensure reliable, safe, and high-quality AI and data-driven systems in fast-paced, experimental projects.

    Requirements

    • 3-6+ years of experience in QA, SDET, or evaluation-focused ML/AI testing, preferably with nondeterministic or probabilistic systems.
    • Strong Python scripting skills for test automation, scenario evaluation, and defect detection.
    • Experience with ML evaluation tools, LLM/RAG testing, or model benchmarking suites.
    • Familiarity with vector databases, retrieval systems, multi-agent workflows, and AI pipelines.
    • Understanding of CI/CD pipelines, DevOps tooling, and observability platforms.
    • Ability to validate data correctness, embeddings, retrieval accuracy, and ranking/precision metrics.
    • Strong instincts for edge cases, risk modes, adversarial failures, and failure-mode analysis.
    • Curious, systematic, and detail-oriented mindset, with high ownership and discipline.
    • Excellent communication skills for clear, actionable defect reporting.

    Roles and Responsibilities

    • Define and own the end-to-end QA strategy across UI, backend, data, and AI components.
    • Design and implement test plans covering functional, non-functional, and behavioral requirements.
    • Build automated and manual evaluation suites for LLMs, retrieval systems, and agent workflows.
    • Conduct scenario-based tests, regression tests, and red-team exercises to uncover edge cases and risks.
    • Validate data quality, embedding correctness, retrieval accuracy, and monitor for model drift or hallucinations.
    • Define metrics, logs, dashboards, and alerts to monitor AI behavior, latency, cost, and errors.
    • Detect and escalate reliability, bias, and performance issues early in the delivery cycle.
    • Manage defect triage workflows, categorize failures across UI, API, data, and model layers, and ensure clear reproduction documentation.
    • Integrate automated tests into CI/CD pipelines to catch regressions early.
    • Support pods in delivering safe, reliable, and stable AI behavior for all experimental and production features.

    For more information - please apply for this job or send your CV directly and we will contact you to provide further details.

    Cavendish (Recruitment) Professionals Ltd are proud to be an equal opportunity employer and we believe that inclusivity begins with the candidate experience.All qualified applicants will receive consideration for employment regardless of gender, race, age, sexual orientation, religion, or belief.


    #J-18808-Ljbffr

  • ai engineer

    il y a 9 heures

    Réservé aux membres inscrits Paris 50.000 € - 80.000 € (EUR)

    Beamy accompagne plus de 40 acteurs majeurs tels que Decathlon, BNP Paribas, Vinci ou encore Orange pour observer l usage et comprendre les besoins métier autour du SaaS dans l entreprise. · ...

  • AI Engineer

    il y a 2 semaines

    Réservé aux membres inscrits Paris

    Nos estamos buscando un AI Engineer para concebir e industrializar pipelines RAG y soluciones IA generativas end-to-end. · Concevoir, développer et optimiser des pipelines RAG : indexation, génération d'embeddings, vector stores. · Préparer les données pour maximiser la performan ...

  • AI Engineer

    il y a 2 semaines

    Réservé aux membres inscrits Paris, Île-de-

    Nous recherchons un AI Engineer issu d'un parcours Data Engineer, Data Scientist ou Machine Learning Engineer capable de concevoir et d'industrialiser des pipelines RAG et des solutions IA génératives end-to-end. · Solide culture Data : ingestion, transformation, qualité structur ...

  • AI Engineer

    il y a 2 semaines

    Réservé aux membres inscrits Paris

    Nous recherchons un AI Engineer en freelance spécialisé en RAG, LLM orchestration et maîtrisant Java et/ou Python. · Excellente maîtrise de Java et/ou Python. · Solide expérience en développement backend et intégration dans des systèmes distribués. · ...

  • AI Engineer

    il y a 18 heures

    Réservé aux membres inscrits Paris 50.000 € - 80.000 € (EUR)

    On ouvre un rôle d'AI Software Engineer pour travailler sur un sujet très R&D appliqué : comment observer les usages applicatifs de milliers d'employés de maniîr êt œcuritaire et privacy-first, en comprenant ce qu'il se passe rllement Ā l'cran � chaque instant. · Ton r﹬le : pre ...

  • AI Engineer

    il y a 1 jour

    Réservé aux membres inscrits Paris

    · Chez MARGO nos consultants travaillent sur ce qui compte vraiment : des projets complexes qui allient challenge intellectuel et impact business réel.Travailler à ses côtés c'est intégrer une équipe d'experts passionnés être challengé sur le plan technique et méthodologique et ...

  • AI Engineer

    il y a 3 heures

    Réservé aux membres inscrits Paris

    Beamy détecte l'usage réel de 50K+ applications chez 500K+ utilisateurs dans les grandes entreprises. Notre ambition : transformer ce signal en intelligence stratégique — comprendre comment le travail évolue. · ...

  • AI Engineer

    il y a 11 heures

    Réservé aux membres inscrits Paris

    · Notre ambition : transformer ce signal en intelligence stratégique — comprendre comment le travail évolue, détecter les processus prêts pour l'agentification, · Concevoir et développer des projets complets · , ...

  • AI Engineer

    il y a 3 semaines

    Réservé aux membres inscrits Paris

    Mise à l'échelle des modèles développés, en garantissant leur performance, leur sécurité et leur monitoring dans l'environnement de production. · ...

  • AI Engineer

    il y a 2 semaines

    Réservé aux membres inscrits Paris, Île-de-

    Nos buscamos un Ingénieur AI especializado en RAG , LLM orchestration y maîtrisant Java et/ou Python . · ...

  • AI Engineer

    il y a 9 heures

    Réservé aux membres inscrits Paris ()

    Nous recherchons un ingénieur AI pour rejoindre notre équipe engineering dans une culture où l'ownership est forte. · 5+ ans d’expérience en développement logiciel, · Tu es ingénieur · e avant d'être développeur · se : tu réfléchis au système, pas seulement au code, · Tu adores m ...

  • AI Engineer

    il y a 1 mois

    Réservé aux membres inscrits Paris, Île-de-

    Rôle d'ingénieur AI au sein du groupe Emeria pour concevoir et développer des solutions d'intelligence artificielle. Responsabilité de transformer des cas d'usage concrets en solutions IA robustes, scalables et sécurisées. · ...

  • AI Engineer

    il y a 1 mois

    Réservé aux membres inscrits Paris

    Rùle d'ingînier en intelligence artificielle dans l'êt Reemia du groupe Emeria. · ...

  • AI Engineer

    il y a 4 semaines

    Réservé aux membres inscrits Paris

    Pasamos la automatización descriptiva en nuestros procesos. · Ayuda a construir sistemas que aprendan y mejoren continuamente para mejorar el resultado. · ...

  • AI Engineer

    il y a 1 mois

    Réservé aux membres inscrits Paris

    +Job summary · fifty-five est une entreprise qui aide les marques à exploiter leurs données. En tant qu'ingînieur AI, vous devrez concevoir et développer des systèmes d'IA générative avancés. · +ResponsabilitésDéveloppement de solutions IA : concevoir et développer des systèmes d ...

  • AI Engineer

    il y a 1 semaine

    Réservé aux membres inscrits Paris

    Travailler sur un produit SaaS complexe à la pointe de l'IA (pas juste un wrapper GPT). Évoluer au sein d'une êtquipe technique de très haut niveau (X, Centrale, Mines...). Une culture d'entreprise bienveillante et transparente. · ...

  • AI Engineer

    il y a 1 mois

    Réservé aux membres inscrits Paris

    MARGO recherche actuellement un Ingenieur IA pour accompagner la transformation technologique des clients. · Conception et développement d'architectures d'IA Agentique (Agentic AI) capables de raisonnement et d'exécution de tâches complexes en autonomie. · ...

  • AI Engineer

    il y a 2 semaines

    Réservé aux membres inscrits Paris

    Safran.AI (anciennement Preligens) propose des solutions d'intelligence artificielle pour analyser les images satellite. La société développe des algorithmes complexes permettant d'analyser automatiquement des objets présentant un intérêt militaire. · Votre mission consiste à rej ...

  • AI Engineer

    il y a 2 semaines

    Réservé aux membres inscrits Paris

    L'ingînier AI accompagne les équipes IT dans la conception et le d evloppement des cas d'usages IA. · Analyse en profondeur des besoins m ericiers pour concevoir des solutions d'IA sur mesure. · Instauration d'une culture de partage de connaissances en IA au sein de l'IT. · ...

  • AI Engineer

    il y a 1 mois

    Réservé aux membres inscrits Paris

    fifty-five est une entreprise qui aide les marques à exploiter leurs données pour améliorer le marketing et l'expérience client. · ...

  • AI Engineer

    il y a 1 mois

    Réservé aux membres inscrits Paris À temps plein

    Fifty-five est une entreprise qui aide les marques à exploiter les données pour améliorer le marketing, les médias et l'expérience client grâce à une combinaison de services de conseil et de technologie spécialisés. · 200 salariés à Paris et plus de 320 dans le monde · Un environ ...

Emplois
>
Paris