Formations — 1 037 leçons en français

Accueil › Git & CI/CD › Tests instables et seuils de couverture

Tests instables et seuils de couverture

Tester dans la chaîneintermediaire

Un test instable change de résultat sans que le code ne change. Son coût n'est pas le temps perdu à relancer : c'est la confiance retirée à tous les autres tests. Dès qu'une équipe relance « parce que c'est sûrement le test instable », le rouge ne signifie plus rien — y compris quand il est vrai.

Un chiffre explique pourquoi on n'en tolère presque aucun. Si une chaîne contient 500 tests dont chacun échoue à tort avec une probabilité de 1 ‰, la probabilité qu'une exécution entière passe vaut 0,999^500, soit environ 61 %. Deux exécutions sur cinq rougissent sans raison.

Les causes, dans l'ordre de fréquence

Cause Signe reconnaissable
Attente d'un délai fixe au lieu d'une condition échoue plus souvent sur exécuteur chargé
État partagé entre tests échoue seulement dans un certain ordre, ou en parallèle
Horloge, fuseau, changement de date échoue la nuit, ou un jour de bascule d'heure
Dépendance réseau réelle échoue par salves
Ordre non garanti d'une collection échoue une fois sur N, sans motif

La couverture

Elle mesure ce qui est exécuté, jamais ce qui est vérifié. Un test sans assertion couvre autant qu'un test rigoureux.

Un seuil global se moyenne, donc il masque. Le seuil utile porte sur les lignes modifiées par le changement en cours.

Les termes à connaître

Test instable (flaky)

Un test dont le résultat varie sans que le code ne change. Il ne ment pas une fois sur deux : il dit « je ne sais pas », ce qui est la pire réponse qu'une chaîne puisse donner.

Quarantaine

Sortir un test instable du verdict bloquant tout en continuant à l'exécuter et à l'observer. Alternative au choix binaire entre subir et supprimer.

Reprise automatique

Relancer un test échoué avant de conclure. Masque l'instabilité au prix de l'information : un test repris trois fois sur quatre est un test qui ne vérifie plus rien.

Couverture de lignes

La part des lignes exécutées pendant les tests. Elle mesure ce qui a été traversé, jamais ce qui a été vérifié — une suite sans assertion peut atteindre cent pour cent.

Couverture de branches

La part des embranchements dont les deux issues ont été exécutées. Plus exigeante que la couverture de lignes, et plus informative sur les cas limites oubliés.

Seuil global

Un pourcentage minimal appliqué à tout le projet. Il se moyenne, donc il masque : un module non testé disparaît derrière des modules bien couverts.

Couverture du diff

La couverture des seules lignes ajoutées ou modifiées. Elle ne se moyenne pas avec l'existant, et c'est ce qui la rend exploitable.

Lire l'explication détaillée et faire le quiz →

Cette page présente la partie essentielle de la leçon. Les exemples commentés, les pièges courants et les trois questions de quiz sont dans l'application.