Accueil › Git & CI/CD › Mesurer la chaîne
Mesurer la chaîne — entretien Git & CI/CD
16 questions posées en entretien sur 10 sujets, avec la bonne réponse et son explication.
Les quatre indicateurs
Quels sont les quatre indicateurs qui décrivent une chaîne de livraison ?
- Fréquence de déploiement, délai de livraison, taux d'échec des changements, temps de rétablissement ✓
- Nombre de commits, couverture de tests, durée de la chaîne, nombre de demandes de fusion
- Disponibilité, latence, trafic, saturation
- Vélocité, dette technique, nombre d'incidents, satisfaction des équipes
Pourquoi : Ces quatre indicateurs ont été popularisés par les travaux de recherche DORA. Les quatre signaux de latence, trafic, erreurs et saturation décrivent un service en production, pas le chemin qui y mène. La différence à savoir énoncer : les quatre indicateurs de livraison mesurent un système de livraison, pas la santé instantanée d'une application.
Niveau junior
Vitesse et stabilité
Lesquels de ces indicateurs appartiennent à la famille stabilité ?
- Le taux d'échec des changements et le temps de rétablissement ✓
- La fréquence de déploiement et le délai de livraison
- Le délai de livraison et le temps de rétablissement
- La fréquence de déploiement et le taux d'échec des changements
Pourquoi : Les deux indicateurs de vitesse décrivent le débit du chemin, les deux indicateurs de stabilité décrivent la qualité de ce qui en sort. Le découpage n'est pas cosmétique : chaque famille se manipule seule, en dégradant l'autre. C'est pourquoi on ne publie jamais une famille sans l'autre.
Niveau junior
Délai de livraison
À quel instant démarre l'horloge du délai de livraison ?
- À la validation du changement dans le dépôt ✓
- À l'expression du besoin par le métier
- Au démarrage de la chaîne d'intégration
- À la fusion dans la branche principale
Pourquoi : L'indicateur mesure le chemin entre un changement écrit et un changement servi. Démarrer au besoin métier mélange un temps de décision et un temps de livraison, dont les leviers n'ont rien de commun. Démarrer à la fusion efface l'attente de revue, qui est souvent le poste le plus long du délai.
Niveau junior
Une équipe arrête l'horloge du délai à la fin de la chaîne d'intégration. Qu'est-ce que ce raccourci efface ?
- L'approbation manuelle, la fenêtre de déploiement et le déploiement progressif ✓
- L'attente de revue sur la demande de fusion
- Le temps de compilation des travaux les plus longs
- Le temps de récupération des sources par l'agent
Pourquoi : Tout ce qui suit la chaîne disparaît du calcul, et c'est précisément la partie que l'indicateur devait rendre visible. Le raccourci est fréquent parce que la donnée est facile à obtenir. Il transforme l'indicateur en mesure de la rapidité de l'outil d'intégration, ce qui n'intéresse personne au-delà de l'équipe qui l'exploite.
Niveau confirme
Taux d'échec
Quel est le dénominateur du taux d'échec des changements ?
- Le nombre de déploiements en production sur la période ✓
- Le nombre de commits poussés sur la période
- Le nombre de jours de la période
- Le nombre d'exécutions de la chaîne d'intégration
Pourquoi : L'indicateur répond à « quelle part de mes déploiements dégrade le service ». Prendre les commits ou les exécutions dilue le taux dans une activité qui ne touche pas la production, et le fait baisser quand l'équipe pousse plus de branches. Un dénominateur mal choisi rend l'indicateur flatteur sans rien améliorer.
Niveau junior
Métriques trompeuses
Pourquoi la couverture de tests est-elle un mauvais objectif chiffré ?
- Parce qu'elle mesure le code exécuté, pas le code vérifié ✓
- Parce qu'elle est coûteuse à calculer sur un gros projet
- Parce qu'elle ignore complètement les branches conditionnelles
- Parce qu'elle varie selon l'outil utilisé pour la mesurer
Pourquoi : Un test qui appelle une fonction sans rien affirmer couvre toutes ses lignes et ne détectera jamais rien. Sous contrainte de seuil, ce sont les tests les moins coûteux à produire, donc ceux qu'on écrit. La couverture reste un bon outil de diagnostic pour repérer une zone jamais exécutée : c'est son usage comme cible qui la dégrade.
Niveau junior
Que provoque l'attribution d'un indicateur de livraison à une personne plutôt qu'à un chemin de livraison ?
- L'information cesse de circuler et chacun évite ce qui abîmerait son chiffre ✓
- La précision statistique de l'indicateur augmente grâce au découpage
- L'indicateur devient comparable entre équipes de tailles différentes
- Le délai se décompose plus facilement en postes
Pourquoi : Les effets sont observés et constants : rétention d'information, évitement des tâches difficiles, incidents signalés plus tard. La formulation change tout. « Ce service attend deux jours en revue » déclenche une enquête et ne désigne personne, là où « le délai de cette équipe est deux fois pire » déclenche une justification.
Niveau senior
Collecte
Sur GitHub, quelle source donne le plus fidèlement les déploiements de production ?
# A
GET /repos/{owner}/{repo}/deployments?environment=production
# B
GET /repos/{owner}/{repo}/actions/runs?status=success&branch=main
- Les déploiements et leurs états, qui portent l'environnement et l'instant de succès ✓
- Les exécutions réussies de la chaîne sur la branche principale
- Les étiquettes annotées créées à chaque publication
- Les commits de fusion de la branche principale
Pourquoi : Une exécution réussie peut ne rien déployer, déployer vers une recette, ou se terminer avant la fin réelle du déploiement. Seuls les déploiements et leurs états portent à la fois l'environnement et l'horodatage du passage à l'état de succès. Compter des exécutions mesure l'activité de la chaîne, pas la livraison.
Niveau confirme
Pourquoi retenir l'horodatage d'auteur d'un commit plutôt que son horodatage de commit ?
- Parce qu'il survit au rebase, contrairement à l'autre ✓
- Parce qu'il est exprimé dans le fuseau du serveur, donc comparable
- Parce que l'horodatage de commit est absent des commits de fusion
- Parce qu'il est le seul exposé par l'API de la forge
Pourquoi : Un rebase réécrit l'horodatage de commit et laisse celui d'auteur intact. En prenant le mauvais des deux, on voit le délai chuter le jour où l'équipe adopte le rebase, sans qu'aucune pratique de livraison n'ait changé. C'est l'exemple type d'un indicateur qui bouge pour une raison interne à l'outil de mesure.
Niveau confirme
Quelle différence de modèle sépare GitHub et GitLab pour la création d'un déploiement ?
- Côté GitLab il naît dès qu'une tâche déclare un environnement, côté GitHub il faut que la chaîne le crée ✓
- Côté GitLab il faut appeler l'API manuellement, côté GitHub il est automatique
- Côté GitLab un déploiement est une étiquette Git, côté GitHub un objet d'API
- Les deux forges créent un déploiement à chaque exécution réussie
Pourquoi : La conséquence est très concrète pour la collecte. Sur GitHub, une chaîne qui déploie par un simple appel de script sans déclarer d'environnement n'émet aucun événement et laisse l'indicateur vide. Sur GitLab, déclarer l'environnement dans la tâche suffit à produire la donnée. Déclarer l'environnement est donc le premier geste d'instrumentation.
Niveau senior
Statistiques
Pourquoi publie-t-on la médiane et le 90e centile d'un délai plutôt que sa moyenne ?
- Parce que la distribution est très asymétrique et qu'une valeur extrême déplace la moyenne ✓
- Parce que la moyenne exige un échantillon beaucoup plus grand
- Parce que la médiane tient compte du nombre de déploiements
- Parce que les forges ne fournissent pas les données nécessaires à une moyenne
Pourquoi : Les délais ont une longue traîne : beaucoup de changements rapides, et quelques traînards restés en attente des semaines. La moyenne suit les traînards et décrit une situation que personne n'a vécue. La médiane décrit le cas courant, le 90e centile décrit les cas lents. Un écart qui se creuse entre les deux signale un chemin à deux vitesses.
Niveau confirme
Loi de Goodhart
Que dit la loi de Goodhart appliquée aux indicateurs d'une équipe de développement ?
- Une mesure qui devient un objectif cesse d'être une bonne mesure ✓
- Une mesure perd en précision à mesure que l'échantillon grandit
- Une mesure n'a de valeur que comparée à celle d'autres équipes
- Une mesure doit être recalibrée à chaque changement d'outillage
Pourquoi : Dès qu'un chiffre conditionne une évaluation, chacun emprunte le chemin le moins coûteux pour le faire monter, et ce chemin contourne presque toujours ce que le chiffre représentait. L'indicateur reste exact et cesse d'informer. La conséquence pratique est de séparer les indicateurs de diagnostic des objectifs d'évaluation.
Niveau confirme
Tableau de bord
Sur quel critère choisit-on la largeur d'une fenêtre glissante ?
- Sur le nombre d'observations qu'elle contient, pas sur sa durée ✓
- Sur la durée des itérations de l'équipe
- Sur la rétention des données de la forge
- Sur la fréquence de la réunion où elle est présentée
Pourquoi : Une équipe qui déploie plusieurs fois par jour obtient un échantillon exploitable en une semaine ; une équipe qui déploie deux fois par mois n'a rien d'interprétable avant un trimestre. Calquer la fenêtre sur le rythme des réunions produit des variations commentées qui ne sont que du bruit divisé par un petit dénominateur.
Niveau confirme
Un taux d'échec affiche un quart sur la fenêtre. Quelle est la première chose à vérifier ?
- Le nombre de déploiements dans la fenêtre, qui peut rendre le taux ininterprétable ✓
- La conclusion des exécutions de la chaîne sur la même période
- La durée moyenne des déploiements de la fenêtre
- Le nombre de développeurs ayant contribué sur la période
Pourquoi : Sur quatre déploiements, un seul incident produit ce quart : ce n'est pas une dégradation mais un événement unique divisé par un petit dénominateur. Un tableau de bord honnête affiche la taille d'échantillon à côté de chaque pourcentage. Sans elle, on prend des décisions sur du bruit et on réagit à une variation qui n'en est pas une.
Niveau senior
Un tableau de bord complet existe depuis un an et aucune décision n'en est sortie. Que faire ?
- Attacher une décision explicite à chaque chiffre, et retirer ceux qui n'en ont pas ✓
- Ajouter des indicateurs pour couvrir les angles manquants
- Réduire la fenêtre de calcul pour rendre les variations plus visibles
- Présenter le tableau à un niveau hiérarchique plus élevé
Pourquoi : Une mesure sans décision associée est du décor : elle coûte, elle rassure, elle ne change rien. Le réflexe d'ajouter des chiffres dilue l'attention et accélère l'abandon de la page. Le test qui nettoie : si ce chiffre disparaissait demain, quelle décision deviendrait impossible ? Pas de réponse, pas de tuile.
Niveau senior
Définitions
Un retour arrière doit-il compter comme un déploiement dans la fréquence ?
- Les deux conventions se défendent, mais il faut le compter au dénominateur si on le compte comme échec au numérateur ✓
- Jamais, puisqu'il ne livre aucune fonctionnalité nouvelle
- Toujours, puisqu'il s'agit d'une opération de production
- Seulement s'il a été déclenché automatiquement par la chaîne
Pourquoi : Il n'existe pas de convention universelle, seulement une convention écrite et cohérente. L'incohérence à éviter est de compter le retour arrière comme un échec au numérateur du taux tout en l'excluant du dénominateur de la fréquence : le même événement est alors compté d'un seul côté, et les deux indicateurs se dégradent ensemble sans raison.
Niveau senior