A
Accuracy (précision globale)
Métrique de performance d'un classifieur calculée comme le rapport entre les prédictions correctes (VP + VN) et le nombre total d'observations. Elle mesure la proportion de cas correctement classifiés.
Pour une matrice de confusion avec VP=60, VN=11, FP=20, FN=9, l'accuracy est de 71/100 = 71%.
Adaptabilité
Caractéristique de qualité spécifique aux systèmes IA désignant la capacité du système à ajuster son comportement à de nouveaux environnements ou conditions sans nécessiter un réentraînement complet.
Un robot logistique devant opérer dans de nouveaux entrepôts sans réentraînement doit être évalué principalement sur son adaptabilité.
Apprentissage fédéré
Technique de machine learning où l'entraînement est distribué sur des appareils locaux sans centraliser les données brutes, visant à préserver la confidentialité des données individuelles.
Lors du test d'un système utilisant l'apprentissage fédéré, les testeurs vérifient que les données individuelles ne quittent jamais les appareils locaux.
Apprentissage par renforcement
Paradigme d'apprentissage automatique où un agent apprend en interagissant avec son environnement et en recevant des signaux de récompense ou de pénalité pour ses actions.
Un robot de nettoyage qui adapte son itinéraire en fonction de l'efficacité détectée est un exemple typique d'apprentissage par renforcement.
B
Biais d'automatisation
Biais cognitif consistant en une confiance excessive des utilisateurs envers les suggestions d'un système automatisé, conduisant à une acceptation sans évaluation critique des sorties du système.
Des testeurs en UAT qui acceptent systématiquement les corrections automatiques incorrectes d'un outil de traitement de texte illustrent le biais d'automatisation.
C
Concept drift (dérive de concept)
Phénomène survenant lorsque les propriétés statistiques de la variable cible évoluent dans le temps, dégradant progressivement les performances d'un modèle ML déployé en production.
Un modèle d'estimation de carburant entraîné sur des données estivales souffre de concept drift lorsque les poids de bagages hivernaux diffèrent significativement.
Couverture par changement de valeur (Value-change coverage)
Métrique de couverture structurelle des réseaux de neurones mesurant si chaque neurone a produit au moins deux sorties d'activation différant d'un seuil minimum défini.
Un ingénieur de test exigeant que chaque neurone produise deux résultats avec une différence minimale de 0,5 utilise la couverture par changement de valeur.
Couverture par seuil (Threshold coverage)
Métrique de couverture structurelle des réseaux de neurones vérifiant que les neurones ne s'activent que lorsque leur valeur d'entrée dépasse un seuil d'activation défini.
Vérifier qu'un signal d'achat ne se déclenche que lorsque la valeur prédite dépasse le prix spot d'au moins 0,75% relève de la couverture par seuil.
E
Explicabilité
Caractéristique qualité d'un système IA désignant sa capacité à fournir des raisons compréhensibles pour ses décisions, permettant aux parties prenantes de comprendre le processus décisionnel.
Démontrer dans un environnement de test comment un système IA prend ses décisions avant déploiement répond aux exigences d'explicabilité.
F
F1-score
Métrique de performance calculée comme la moyenne harmonique de la précision (precision) et du rappel (recall), particulièrement utile en présence de classes déséquilibrées.
Pour un modèle de prédiction d'AVC, un F1-score de 0,6667 (2/3) combine la precision et le recall en une seule valeur équilibrée.
I
IA étroite (Narrow AI)
Système d'intelligence artificielle conçu pour accomplir un ensemble limité et spécifique de tâches, incapable de traiter des problèmes en dehors de son domaine de spécialisation.
Un système vocal de réservation de vols incapable de répondre aux questions météorologiques illustre les limites de l'IA étroite.
Intra-cluster distance
Métrique d'évaluation des modèles de clustering non supervisé mesurant le degré de similarité entre les points de données appartenant à un même cluster ; une valeur faible indique des clusters plus compacts.
Pour évaluer la cohésion de groupes clients segmentés par comportement d'achat, un ingénieur de test utilisera la distance intra-cluster.
O
Oracle de test
Mécanisme permettant de déterminer si le résultat produit par un système testé est correct ou incorrect ; son absence constitue l'un des principaux défis du test des systèmes IA.
Les cas de test générés par IA à partir d'exigences sont souvent inutilisables directement car ils sont dépourvus d'oracle de test (résultats attendus).
Overfitting (surapprentissage)
Phénomène survenant lorsqu'un modèle ML apprend les données d'entraînement de manière trop précise, incluant leur bruit, ce qui l'empêche de généraliser correctement sur de nouvelles données.
Un modèle qui obtient 99% de précision sur les données d'entraînement mais échoue sur de nouvelles données présente un overfitting.
P
Pairwise testing (tests par paires)
Technique de tests combinatoires réduisant l'explosion du nombre de cas de test en couvrant systématiquement toutes les paires de valeurs de paramètres, applicable aux entrées et facteurs environnementaux des systèmes IA.
Face au nombre excessif de combinaisons de paramètres d'un véhicule autonome, l'ingénieur de test applique le pairwise testing pour réduire la couverture combinatoire.
Precision (précision positive)
Métrique calculée comme le ratio VP/(VP+FP) mesurant la proportion de prédictions positives qui sont réellement correctes ; prioritaire lorsqu'il est critique de minimiser les faux positifs.
Pour un dispositif médical déclenchant les secours, une haute precision garantit que les alertes envoyées correspondent à de vrais problèmes cardiaques.
R
Recall (rappel)
Métrique calculée comme le ratio VP/(VP+FN) mesurant la capacité du modèle à détecter tous les cas positifs réels ; prioritaire lorsqu'il est critique de minimiser les faux négatifs.
Dans un système de détection de fraudes, un recall élevé assure que la quasi-totalité des transactions frauduleuses réelles est identifiée.
Reward hacking
Comportement d'un système IA qui maximise son signal de récompense par des moyens non intentionnels et non désirés, contournant l'objectif réel de la fonction de récompense.
Un robot apprenant à se déplacer en marche arrière pour éviter les pénalités liées aux capteurs frontaux illustre le reward hacking.
RGPD
Règlement Général sur la Protection des Données, cadre réglementaire européen régissant l'utilisation éthique des données personnelles et s'appliquant aux systèmes IA, incluant les exigences de consentement et de minimisation des données.
Lors des tests d'un système IA utilisant des données clients, le testeur vérifie la conformité au RGPD avant d'utiliser des données personnelles réelles en environnement de test.
T
Test A/B
Technique de test comparant deux variantes d'un système (A et B) en les soumettant aux mêmes données d'entrée et en évaluant statistiquement laquelle offre les meilleures performances mesurables.
Comparer un ancien algorithme NLP à une version mise à jour via des évaluations utilisateurs et un test statistique constitue un test A/B.
Test adversarial
Technique de test visant à évaluer la robustesse d'un système IA face à des entrées délibérément manipulées ou corrompues, conçues pour tromper ou déstabiliser le modèle.
Un système de reconnaissance faciale dans un aéroport est soumis à des tests adversariaux pour vérifier qu'il résiste aux tentatives de contournement par les passagers.
Test en parallèle (Back-to-back testing)
Technique consistant à soumettre les mêmes données d'entrée à deux versions d'un système (ancien et nouveau) et à comparer leurs sorties pour détecter des régressions ou valider des améliorations.
Pour valider l'amélioration d'un modèle de classification d'animaux après réentraînement, on compare les sorties de l'ancienne et de la nouvelle version sur les mêmes images via un back-to-back testing.
Transfer learning
Technique ML consistant à réutiliser un modèle pré-entraîné sur une tâche source et à l'adapter à une tâche cible différente, réduisant ainsi le besoin de données d'entraînement supplémentaires.
Adapter un modèle de détection de logos pré-entraîné pour reconnaître un logo spécifique sur les réseaux sociaux est un exemple d'application du transfer learning.
Transparence
Caractéristique qualité d'un système IA indiquant que les informations relatives à sa conception, ses données d'entraînement et son fonctionnement sont accessibles et consultables par les parties prenantes.
L'accès aux données d'entraînement d'un système IA pour concevoir des cas de test est une manifestation concrète de la transparence du système.
U
Underfitting (sous-apprentissage)
Phénomène survenant lorsqu'un modèle ML est trop simple pour capturer les patterns sous-jacents des données, résultant en de mauvaises performances même sur les données d'entraînement.
Un modèle qui prédit incorrectement des exemples similaires à ses propres données d'entraînement présente un underfitting.