QA IA - Paris - Skapa Agency

    Skapa Agency
    Skapa Agency Paris

    il y a 4 jours

    Description

    Skapa est une des premières agences en France à exploiter les méthodes du Design Thinking et à les adapter à chaque organisation. Skapa facilite la transformation des organisations, à travers la conception collaborative de nouveaux modèles économiques tournés vers les services. Skapa ancre une dynamique positive de transformation des méthodes de travail et insuffle auprès des équipes qu'elle accompagne, une organisation plus agile, créative, fédératrice, transverse et communicante. Skapa impacte vos offres, crée de nouvelles solutions opérationnelles adaptées à vos clients cibles, vos stratégies, vos ressources. Skapa exploite ses compétences d'innovation et son esprit de challenge pour innover et concevoir vos solutions digitales, vos labs, vos sièges sociaux, vos objets connectés. Skapa stimule l'adhésion de toute l'organisation autour des solutions innovante crées et prépare ainsi un contexte positif à leur éclosion en interne et sur le marché. Skapa accompagne votre politique d'innovation, de transformation stratégique et réintègre vos clients dans la construction de vos enjeux d'avenir, dans le financement de vos innovations. Skapa conçoit une véritable expérience collaborateurs/client et réalise des solutions produit et digitale.

    Rôle et mission générale


    Le QA IA est responsable de la qualité, de la fiabilité, de la robustesse et de la conformité des systèmes IA avant, pendant et après la mise en production.

    Il conçoit et exécute les tests multi-couches :

    • Tests spécifiques GenAI / RAG / Agents
    • Tests de sécurité, biais, dérive et conformité (CT-AI)

    Ce rôle devient crucial avec la montée des systèmes GenAI, agentiques et RAG.

    Responsabilités clés


    1. Définir la méthodologie QA adaptée au type de modèle : ML, LLM, RAG, agents.

      Construire les plans de test IA : data tests, model tests, risk tests, behavior tests.

      Définir la couverture de test en accord avec le PO et les Data Scientists.

      Vérifier la qualité, cohérence, fraîcheur, représentativité des données.

      Détecter les biais potentiels.

      Définir des tests de drift data.

      Tester la performance (metrics ML), la robustesse, l'explicabilité.

      Tester la stabilité selon différents jeux de données.

      Tester la sensibilité du modèle aux perturbations (adversarial tests).

    2. Tests UX pour les assistants IA / agents.

      Tests de charge, latence, disponibilité, escalade.

    3. Détection et mesure des hallucinations.

      Tests de pertinence des sources RAG (grounding testing).

      Tests multi-agents (cohérence, coordination, divergence).

      Vérification du respect des garde-fous (ton, contraintes métier, RGPD).

    4. Contribution au dossier d'évaluation IA (CT-AI).

      Collaboration avec DPO sur les risques et RGPD.

      Mise à jour des registres IA et des reports d'audit.

    Types de missions réalisées

    • Test d'un chatbot multi‑agents avant mise en production
    • Analyse des hallucinations dans un modèle RAG
    • Définition des seuils d'alerte drift pour modèles ML
    • Tests de sécurité / robustesse (prompt injection, jailbreaking)
    • Mise en place d'un protocole d'explicabilité (LIME, SHAP, PDP)

    Compétences essentielles

    • Compétences techniques
      • Compréhension avancée : ML, LLM, RAG, pipelines, monitoring
      • Bon niveau en statistiques, métriques IA
      • Compréhension de l'architecture logicielle (API, micro‑services)
    • Compétences en QA
      • Automatisation des tests
      • Notions de SRE / performance testing
      • Méthodologie CT‑AI (tests confiance IA)
    • Rigueur scientifique
    • Capacité d'analyse
    • Pensée critique / sceptique
    • Communication claire avec Data Scientists & PO
    • Sensibilité éthique et RGPD
    • Explicabilité : SHAP, LIME
    • Tests LLM : DeepEval, Ragas, Promptfoo
    • Framework API : FastAPI / Flask (lecture seulement)

    Indicateurs de performance

    • Taux de couverture de test
    • Réduction du taux d'incident après mise en production
    • Diminution des hallucinations / erreurs / escalades
    • Rapidité à détecter anomalies & dérives
    • Qualité de la documentation & audits IA

    Pré-requis / Profil recherché

    • Bac +5 (data / informatique / stats) ou expérience QA solide
    • 2 à 5 ans en QA, Data, ML ou automatisation de tests
    • Compréhension forte du ML et de la GenAI
    • Expérience dans le test de modèles ou systèmes complexes

    #J-18808-Ljbffr

  • Quelqu'un a besoin de ton aide

    Cours

    beBee Professionals

    Offre de service · Je propose des cours personnalisés adaptés à vos besoins. Que vous soyez débutant ou avancé, je suis là pour vous aider à progresser rapidement. Mes cours sont conçus pour être interactifs et engageants, vous permettant d'apprendre dans un environnement agréabl ...

    Paris Enseignant Cours Freelance

    il y a 1 mois

  • Travailler en entreprise

    Alternant - Ingénieur Service (m/f/d)

    Réservé aux membres inscrits

    At Roche you can show up as yourself, embraced for the unique qualities you bring. Our culture encourages personal expression, open dialogue, and genuine connections,  where you are valued, accepted and respected for who you are, allowing you to thrive both personally and profess ...

    France À temps plein

    il y a 2 jours

  • Travailler en entreprise

    Contracts Specialist

    Réservé aux membres inscrits

    Contracts Specialist - Sponsor dedicated - Based in Paris Area (Boulogne Billancourt)Syneos Health is a leading fully integrated biopharmaceutical solutions organization built to accelerate customer success. We translate unique clinical, medical affairs and commercial insights in ...

    France 32.000 € - 55.000 € (EUR) par an À temps plein

    il y a 2 jours

  • Travailler en entreprise

    Directeur Inter-Regional GenMed H/F

    Réservé aux membres inscrits

    Le Laboratoire GSK recherche un Directeur Inter-Régional GenMed H/F - Région Centre / Sud IDF dans le cadre d'un CDD de 9 mois. · Le poste est basé sur le secteur Centre / Sud IDF (37, 41, 53, 61, 72, 28, 45, 61, 77, 91) avec une habitation sur le secteur idéalement. · UGA:37AMB ...

    France À temps plein

    il y a 5 jours

  • Travailler en entreprise

    Field Clinical Specialist_THV_ Paris West

    Réservé aux membres inscrits

    Aortic stenosis impacts millions of people globally, yet it often remains under-diagnosed and under-treated. Edwards' groundbreaking work in transcatheter aortic heart valve replacement (TAVR) pioneered an innovative, life-changing solution for patients by offering heart valve re ...

    Ile de France, France À temps plein

    il y a 6 jours

  • Travailler en entreprise

    Alternance - Chef de secteur GMS (H/F) - Annecy/Grenoble

    Réservé aux membres inscrits

    Chef De Secteur GMS (H/F)  · DIM Brands International (DBI) est un fabricant et distributeur éco-responsable de sous-vêtements des marques parmi les plus fortes au monde (DIM, Nur Die, Lovable, La Senza...) pour toute la famille. DIM est le leader du marché en France et la marque ...

    France Stage

    il y a 6 jours

  • Travailler en entreprise

    conseiller de vente (h/f/nb) cdd 35h juin juillet aout septembre 2026

    Réservé aux membres inscrits

    · Description de l'entreprise · ICI, c'est KIABI · Rejoindre notre aventure, c'est partager une vision · Chez KIABI, nous croyons en une expérience professionnelle unique, où chaque talent peut s'épanouir, innover et créer un impact positif. Notre engagement repose sur trois p ...

    France, France, France Freelance

    il y a 4 jours

  • Travailler en entreprise

    Alternant - Ventes sur Rennes (m/f/d)

    Réservé aux membres inscrits

    At Roche you can show up as yourself, embraced for the unique qualities you bring. Our culture encourages personal expression, open dialogue, and genuine connections,  where you are valued, accepted and respected for who you are, allowing you to thrive both personally and profess ...

    France À temps plein

    il y a 2 jours

  • Travailler en entreprise

    Ingénieur Expérimenté Safety Gestion du Trafic Aerien

    Réservé aux membres inscrits

    + Au sein d’une entité Aviation du groupe Egis, vous contribuerez aux activités Safety pour la mise en service des évolutions du systme de gestion du trafic arien franﰻ7ais (Air Traffic Management), systﰾmme rﰺalisﰺe par la DSNA (Direction des Services de la Navigation Aérienne ...

    Paris

    il y a 1 semaine

  • Travailler en entreprise

    Business Développeur stockage d'énergie F/H

    Réservé aux membres inscrits

    Technique Solaire recherche des personnes engagées dans la transition énergétique · créer · développer · ...

    Paris

    il y a 2 semaines

  • Travailler en entreprise

    Travailleur Social

    Réservé aux membres inscrits

    Le travailleur social accompagne les personnes fragilisées sur le territoire francilien. · L'évaluation sociale et professionnelle des personnes accueillies ; · L'accompagnement dans les démarches administratives et d'accès aux droits ; · L'accompagnement vers un logement auton ...

    Paris 26.000 € - 0 € (EUR)

    il y a 2 semaines

  • Travailler en entreprise

    Consultant Cloud Security

    Réservé aux membres inscrits

    El candidato trabajará como consultor en ciberseguridad para clientes en entornos cloud public AWS, Azure o GCP. · Ecole d'ingénieur en informatique ou télécommunication ou équivalent. · Minimum 4 années d'expérience en tant que Consultant ou Expert sécurité au sein d'une ESN ou ...

    Paris Freelance

    il y a 2 semaines

  • Travailler en entreprise

    Quality Analyst

    Réservé aux membres inscrits

    We are building an anime intel network for global anime communities. You get paid to watch anime and make sure every piece of information on our site is perfect. · ...

    Paris

    il y a 1 semaine

  • Travailler en entreprise

    Commercial évènementiel

    Réservé aux membres inscrits

    Atica busca un commercial évènementiel que promueva y comercialice sus experiencias inmersivas mémorables. · ...

    Paris

    il y a 1 semaine

  • Travailler en entreprise

    responsable support it

    Réservé aux membres inscrits

    Freelance · Paris · Publié il y a 15 heures · RED TIC recherche un(e) Responsable Support IT pour piloter l'activité support et garantir la qualité des services informatiques auprès des utilisateurs. Vous serez garant(e) de la performance du service, de la gestion des incidents e ...

    Paris 26.000 € - 42.000 € (EUR) par an

    il y a 6 jours

  • Travailler en entreprise

    Consultant Quant Crédit

    Réservé aux membres inscrits

    L'aventure Exiom Partners · Le cabinet EXIOM Partners est spécialisé dans les Services Financiers aux entreprises des secteurs de l'assurance et de la banque, et intervient principalement sur les métiers de la Finance, des Risques et de la Conformité auprès de ses clients, tant s ...

    Paris

    il y a 6 jours

  • Travailler en entreprise

    cdi - fullstack ruby/react developer - edtech à impact (h/f)

    Réservé aux membres inscrits

    À propos · My Job Glasses est la 1ère plateforme de rencontres professionnelles en Europe. Elle est lauréate de la première promotion French Tech 2030 · Afin de lutter contre les déterminismes qu'ils soient sociaux, géographiques ou de genres, nous avons construit une plateforme ...

    Paris 45.000 € - 55.000 € (EUR)

    il y a 6 jours

  • Travailler en entreprise

    Coordinateur Visuel Merchandiser

    Réservé aux membres inscrits

    Intégré(e) au sein du service Stratégie & Orchestration Produits, le/la Coordinateur/trice Visual Merchandiser est rattaché(e) à la Responsable Visual Merchandising Monde. · Il/elle assiste la gestion opérationnelle de la zone France et contribue au déploiement et à la cohérence ...

    Paris

    il y a 6 jours

  • Travailler en entreprise

    Directeur de crèche H/F CDI

    Réservé aux membres inscrits

    Contract type · Regular · Nous recherchons un Directeur H/F pour notre crèche Babilou Paris Macdonald. · Contrat cadre (216 jours travaillés par an) · Notre crèche Babilou Pars Macdonald peut accueillir 18 enfants. · Elle est située au 194 Bd Macdonald, 75019 Paris · Vous agissez ...

    Paris

    il y a 6 jours

  • Travailler en entreprise

    Développeur Front Office

    Réservé aux membres inscrits

    Descriptif du poste · Au sein d'une banque de premier plan, la mission consiste au support dans le cadre des activités de participation, en tant que développement Front Office, à l'amélioration des automates de contribution sur warrants, certificats et produits exotiques pour les ...

    Paris 40.000 € - 45.000 € (EUR)

    il y a 6 jours

  • Travailler en entreprise

    Professeur agrégé de mathématiques, coordinateur du département pédagogique

    Réservé aux membres inscrits

    Structure d'accueil · Créé sur le modèle français des grandes écoles avec classe préparatoire intégrée, l'Institut franco-chinois Chimie Pékin/Paris Curie Engineer School a ouvert ses portes à la rentrée universitaire de septembre 2017. Chimie Pékin prépare, en 4 ans, les étudian ...

    Paris

    il y a 6 jours

Emplois
>
Paris