Accueil › Git & CI/CD › Tests instables et seuils de couverture
Tests instables et seuils de couverture
Tester dans la chaîneintermediaire
Un test instable change de résultat sans que le code ne change. Son coût n'est pas le temps perdu à relancer : c'est la confiance retirée à tous les autres tests. Dès qu'une équipe relance « parce que c'est sûrement le test instable », le rouge ne signifie plus rien — y compris quand il est vrai.
Un chiffre explique pourquoi on n'en tolère presque aucun. Si une chaîne
contient 500 tests dont chacun échoue à tort avec une probabilité de 1 ‰, la
probabilité qu'une exécution entière passe vaut 0,999^500, soit environ
61 %. Deux exécutions sur cinq rougissent sans raison.
Les causes, dans l'ordre de fréquence
| Cause | Signe reconnaissable |
|---|---|
| Attente d'un délai fixe au lieu d'une condition | échoue plus souvent sur exécuteur chargé |
| État partagé entre tests | échoue seulement dans un certain ordre, ou en parallèle |
| Horloge, fuseau, changement de date | échoue la nuit, ou un jour de bascule d'heure |
| Dépendance réseau réelle | échoue par salves |
| Ordre non garanti d'une collection | échoue une fois sur N, sans motif |
La couverture
Elle mesure ce qui est exécuté, jamais ce qui est vérifié. Un test sans assertion couvre autant qu'un test rigoureux.
Un seuil global se moyenne, donc il masque. Le seuil utile porte sur les lignes modifiées par le changement en cours.
Les termes à connaître
- Test instable (flaky)
Un test dont le résultat varie sans que le code ne change. Il ne ment pas une fois sur deux : il dit « je ne sais pas », ce qui est la pire réponse qu'une chaîne puisse donner.
- Quarantaine
Sortir un test instable du verdict bloquant tout en continuant à l'exécuter et à l'observer. Alternative au choix binaire entre subir et supprimer.
- Reprise automatique
Relancer un test échoué avant de conclure. Masque l'instabilité au prix de l'information : un test repris trois fois sur quatre est un test qui ne vérifie plus rien.
- Couverture de lignes
La part des lignes exécutées pendant les tests. Elle mesure ce qui a été traversé, jamais ce qui a été vérifié — une suite sans assertion peut atteindre cent pour cent.
- Couverture de branches
La part des embranchements dont les deux issues ont été exécutées. Plus exigeante que la couverture de lignes, et plus informative sur les cas limites oubliés.
- Seuil global
Un pourcentage minimal appliqué à tout le projet. Il se moyenne, donc il masque : un module non testé disparaît derrière des modules bien couverts.
- Couverture du diff
La couverture des seules lignes ajoutées ou modifiées. Elle ne se moyenne pas avec l'existant, et c'est ce qui la rend exploitable.
Cette page présente la partie essentielle de la leçon. Les exemples commentés, les pièges courants et les trois questions de quiz sont dans l'application.