- Tests spécifiques GenAI / RAG / Agents
- Tests de sécurité, biais, dérive et conformité (CT-AI)
Définir la méthodologie QA adaptée au type de modèle : ML, LLM, RAG, agents.
Construire les plans de test IA : data tests, model tests, risk tests, behavior tests.
Définir la couverture de test en accord avec le PO et les Data Scientists.
Vérifier la qualité, cohérence, fraîcheur, représentativité des données.
Détecter les biais potentiels.
Définir des tests de drift data.
Tester la performance (metrics ML), la robustesse, l'explicabilité.
Tester la stabilité selon différents jeux de données.
Tester la sensibilité du modèle aux perturbations (adversarial tests).
Tests UX pour les assistants IA / agents.
Tests de charge, latence, disponibilité, escalade.
Détection et mesure des hallucinations.
Tests de pertinence des sources RAG (grounding testing).
Tests multi-agents (cohérence, coordination, divergence).
Vérification du respect des garde-fous (ton, contraintes métier, RGPD).
Contribution au dossier d'évaluation IA (CT-AI).
Collaboration avec DPO sur les risques et RGPD.
Mise à jour des registres IA et des reports d'audit.
- Test d'un chatbot multi‑agents avant mise en production
- Analyse des hallucinations dans un modèle RAG
- Définition des seuils d'alerte drift pour modèles ML
- Tests de sécurité / robustesse (prompt injection, jailbreaking)
- Mise en place d'un protocole d'explicabilité (LIME, SHAP, PDP)
- Compétences techniques
- Compréhension avancée : ML, LLM, RAG, pipelines, monitoring
- Bon niveau en statistiques, métriques IA
- Compréhension de l'architecture logicielle (API, micro‑services)
- Compétences en QA
- Automatisation des tests
- Notions de SRE / performance testing
- Méthodologie CT‑AI (tests confiance IA)
- Rigueur scientifique
- Capacité d'analyse
- Pensée critique / sceptique
- Communication claire avec Data Scientists & PO
- Sensibilité éthique et RGPD
- Explicabilité : SHAP, LIME
- Tests LLM : DeepEval, Ragas, Promptfoo
- Framework API : FastAPI / Flask (lecture seulement)
- Taux de couverture de test
- Réduction du taux d'incident après mise en production
- Diminution des hallucinations / erreurs / escalades
- Rapidité à détecter anomalies & dérives
- Qualité de la documentation & audits IA
- Bac +5 (data / informatique / stats) ou expérience QA solide
- 2 à 5 ans en QA, Data, ML ou automatisation de tests
- Compréhension forte du ML et de la GenAI
- Expérience dans le test de modèles ou systèmes complexes
-
Offre de service · Je propose des cours personnalisés adaptés à vos besoins. Que vous soyez débutant ou avancé, je suis là pour vous aider à progresser rapidement. Mes cours sont conçus pour être interactifs et engageants, vous permettant d'apprendre dans un environnement agréabl ...
il y a 1 mois
-
At Roche you can show up as yourself, embraced for the unique qualities you bring. Our culture encourages personal expression, open dialogue, and genuine connections, where you are valued, accepted and respected for who you are, allowing you to thrive both personally and profess ...
France À temps pleinil y a 2 jours
-
Contracts Specialist - Sponsor dedicated - Based in Paris Area (Boulogne Billancourt)Syneos Health is a leading fully integrated biopharmaceutical solutions organization built to accelerate customer success. We translate unique clinical, medical affairs and commercial insights in ...
France 32.000 € - 55.000 € (EUR) par an À temps pleinil y a 2 jours
-
Le Laboratoire GSK recherche un Directeur Inter-Régional GenMed H/F - Région Centre / Sud IDF dans le cadre d'un CDD de 9 mois. · Le poste est basé sur le secteur Centre / Sud IDF (37, 41, 53, 61, 72, 28, 45, 61, 77, 91) avec une habitation sur le secteur idéalement. · UGA:37AMB ...
France À temps pleinil y a 5 jours
-
Aortic stenosis impacts millions of people globally, yet it often remains under-diagnosed and under-treated. Edwards' groundbreaking work in transcatheter aortic heart valve replacement (TAVR) pioneered an innovative, life-changing solution for patients by offering heart valve re ...
Ile de France, France À temps pleinil y a 6 jours
- Travailler en entreprise
Alternance - Chef de secteur GMS (H/F) - Annecy/Grenoble
Réservé aux membres inscrits
Chef De Secteur GMS (H/F) · DIM Brands International (DBI) est un fabricant et distributeur éco-responsable de sous-vêtements des marques parmi les plus fortes au monde (DIM, Nur Die, Lovable, La Senza...) pour toute la famille. DIM est le leader du marché en France et la marque ...
France Stageil y a 6 jours
- Travailler en entreprise
conseiller de vente (h/f/nb) cdd 35h juin juillet aout septembre 2026
Réservé aux membres inscrits
· Description de l'entreprise · ICI, c'est KIABI · Rejoindre notre aventure, c'est partager une vision · Chez KIABI, nous croyons en une expérience professionnelle unique, où chaque talent peut s'épanouir, innover et créer un impact positif. Notre engagement repose sur trois p ...
France, France, France Freelanceil y a 4 jours
-
At Roche you can show up as yourself, embraced for the unique qualities you bring. Our culture encourages personal expression, open dialogue, and genuine connections, where you are valued, accepted and respected for who you are, allowing you to thrive both personally and profess ...
France À temps pleinil y a 2 jours
- Travailler en entreprise
Ingénieur Expérimenté Safety Gestion du Trafic Aerien
Réservé aux membres inscrits
+ Au sein d’une entité Aviation du groupe Egis, vous contribuerez aux activités Safety pour la mise en service des évolutions du systme de gestion du trafic arien franﰻ7ais (Air Traffic Management), systﰾmme rﰺalisﰺe par la DSNA (Direction des Services de la Navigation Aérienne ...
Parisil y a 1 semaine
-
Technique Solaire recherche des personnes engagées dans la transition énergétique · créer · développer · ...
Parisil y a 2 semaines
-
Le travailleur social accompagne les personnes fragilisées sur le territoire francilien. · L'évaluation sociale et professionnelle des personnes accueillies ; · L'accompagnement dans les démarches administratives et d'accès aux droits ; · L'accompagnement vers un logement auton ...
Paris 26.000 € - 0 € (EUR)il y a 2 semaines
-
El candidato trabajará como consultor en ciberseguridad para clientes en entornos cloud public AWS, Azure o GCP. · Ecole d'ingénieur en informatique ou télécommunication ou équivalent. · Minimum 4 années d'expérience en tant que Consultant ou Expert sécurité au sein d'une ESN ou ...
Paris Freelanceil y a 2 semaines
-
We are building an anime intel network for global anime communities. You get paid to watch anime and make sure every piece of information on our site is perfect. · ...
Parisil y a 1 semaine
-
Atica busca un commercial évènementiel que promueva y comercialice sus experiencias inmersivas mémorables. · ...
Parisil y a 1 semaine
-
Freelance · Paris · Publié il y a 15 heures · RED TIC recherche un(e) Responsable Support IT pour piloter l'activité support et garantir la qualité des services informatiques auprès des utilisateurs. Vous serez garant(e) de la performance du service, de la gestion des incidents e ...
Paris 26.000 € - 42.000 € (EUR) par anil y a 6 jours
-
L'aventure Exiom Partners · Le cabinet EXIOM Partners est spécialisé dans les Services Financiers aux entreprises des secteurs de l'assurance et de la banque, et intervient principalement sur les métiers de la Finance, des Risques et de la Conformité auprès de ses clients, tant s ...
Parisil y a 6 jours
- Travailler en entreprise
cdi - fullstack ruby/react developer - edtech à impact (h/f)
Réservé aux membres inscrits
À propos · My Job Glasses est la 1ère plateforme de rencontres professionnelles en Europe. Elle est lauréate de la première promotion French Tech 2030 · Afin de lutter contre les déterminismes qu'ils soient sociaux, géographiques ou de genres, nous avons construit une plateforme ...
Paris 45.000 € - 55.000 € (EUR)il y a 6 jours
-
Intégré(e) au sein du service Stratégie & Orchestration Produits, le/la Coordinateur/trice Visual Merchandiser est rattaché(e) à la Responsable Visual Merchandising Monde. · Il/elle assiste la gestion opérationnelle de la zone France et contribue au déploiement et à la cohérence ...
Parisil y a 6 jours
-
Contract type · Regular · Nous recherchons un Directeur H/F pour notre crèche Babilou Paris Macdonald. · Contrat cadre (216 jours travaillés par an) · Notre crèche Babilou Pars Macdonald peut accueillir 18 enfants. · Elle est située au 194 Bd Macdonald, 75019 Paris · Vous agissez ...
Parisil y a 6 jours
-
Descriptif du poste · Au sein d'une banque de premier plan, la mission consiste au support dans le cadre des activités de participation, en tant que développement Front Office, à l'amélioration des automates de contribution sur warrants, certificats et produits exotiques pour les ...
Paris 40.000 € - 45.000 € (EUR)il y a 6 jours
- Travailler en entreprise
Professeur agrégé de mathématiques, coordinateur du département pédagogique
Réservé aux membres inscrits
Structure d'accueil · Créé sur le modèle français des grandes écoles avec classe préparatoire intégrée, l'Institut franco-chinois Chimie Pékin/Paris Curie Engineer School a ouvert ses portes à la rentrée universitaire de septembre 2017. Chimie Pékin prépare, en 4 ans, les étudian ...
Parisil y a 6 jours
QA IA - Paris - Skapa Agency
Description
Skapa est une des premières agences en France à exploiter les méthodes du Design Thinking et à les adapter à chaque organisation. Skapa facilite la transformation des organisations, à travers la conception collaborative de nouveaux modèles économiques tournés vers les services. Skapa ancre une dynamique positive de transformation des méthodes de travail et insuffle auprès des équipes qu'elle accompagne, une organisation plus agile, créative, fédératrice, transverse et communicante. Skapa impacte vos offres, crée de nouvelles solutions opérationnelles adaptées à vos clients cibles, vos stratégies, vos ressources. Skapa exploite ses compétences d'innovation et son esprit de challenge pour innover et concevoir vos solutions digitales, vos labs, vos sièges sociaux, vos objets connectés. Skapa stimule l'adhésion de toute l'organisation autour des solutions innovante crées et prépare ainsi un contexte positif à leur éclosion en interne et sur le marché. Skapa accompagne votre politique d'innovation, de transformation stratégique et réintègre vos clients dans la construction de vos enjeux d'avenir, dans le financement de vos innovations. Skapa conçoit une véritable expérience collaborateurs/client et réalise des solutions produit et digitale.
Rôle et mission générale
Le QA IA est responsable de la qualité, de la fiabilité, de la robustesse et de la conformité des systèmes IA avant, pendant et après la mise en production.
Il conçoit et exécute les tests multi-couches :
Ce rôle devient crucial avec la montée des systèmes GenAI, agentiques et RAG.
Responsabilités clés
Types de missions réalisées
Compétences essentielles
Indicateurs de performance
Pré-requis / Profil recherché
#J-18808-Ljbffr
-
Cours
Freelance beBee Professionals- Paris
-
Alternant - Ingénieur Service (m/f/d)
À temps plein Réservé aux membres inscrits France
-
Contracts Specialist
À temps plein Réservé aux membres inscrits France
-
Directeur Inter-Regional GenMed H/F
À temps plein Réservé aux membres inscrits France
-
Field Clinical Specialist_THV_ Paris West
À temps plein Réservé aux membres inscrits Ile de France, France
-
Alternance - Chef de secteur GMS (H/F) - Annecy/Grenoble
Stage Réservé aux membres inscrits France
-
conseiller de vente (h/f/nb) cdd 35h juin juillet aout septembre 2026
Freelance Réservé aux membres inscrits France, France, France
-
Alternant - Ventes sur Rennes (m/f/d)
À temps plein Réservé aux membres inscrits France
-
Ingénieur Expérimenté Safety Gestion du Trafic Aerien
Réservé aux membres inscrits Paris
-
Business Développeur stockage d'énergie F/H
Réservé aux membres inscrits Paris
-
Travailleur Social
Réservé aux membres inscrits Paris
-
Consultant Cloud Security
Freelance Réservé aux membres inscrits Paris
-
Quality Analyst
Réservé aux membres inscrits Paris
-
Commercial évènementiel
Réservé aux membres inscrits Paris
-
responsable support it
Réservé aux membres inscrits Paris
-
Consultant Quant Crédit
Réservé aux membres inscrits Paris
-
cdi - fullstack ruby/react developer - edtech à impact (h/f)
Réservé aux membres inscrits Paris
-
Coordinateur Visuel Merchandiser
Réservé aux membres inscrits Paris
-
Directeur de crèche H/F CDI
Réservé aux membres inscrits Paris
-
Développeur Front Office
Réservé aux membres inscrits Paris
-
Professeur agrégé de mathématiques, coordinateur du département pédagogique
Réservé aux membres inscrits Paris