Formations — 1 037 leçons en français

Accueil › Python › Générateurs

Générateurs

Itérateurs, générateurs et décorateursavance

Une fonction contenant yield ne renvoie pas une valeur : elle renvoie un générateur.

def references(commandes):
    for commande in commandes:
        for ref, _ in commande["lignes"]:
            yield ref

Appeler references(...) n'exécute aucune ligne du corps. Les lignes s'exécutent au fur et à mesure que l'on réclame des éléments. À chaque yield, la fonction se suspend en gardant tout son état ; le next() suivant reprend juste après.

La même chose en plus court, avec une expression génératrice — des parenthèses au lieu de crochets :

total = sum(ligne["prix"] for ligne in lignes)      # rien n'est stocké

L'intérêt tient en une phrase : la mémoire consommée ne dépend pas du volume parcouru.

# Compter les erreurs d'un journal de 2 Go
with open("journal.log", encoding="utf-8") as f:
    print(f.read().count("ERREUR"))            # charge 2 Go en mémoire

with open("journal.log", encoding="utf-8") as f:
    print(sum(1 for ligne in f if "ERREUR" in ligne))   # une ligne à la fois

La première version demande 2 Go de mémoire vive et peut faire tomber le processus. La seconde en demande quelques kilooctets, et tournerait identiquement sur un fichier de 200 Go. Ce n'est pas une optimisation à la marge : c'est la différence entre un programme qui fonctionne et un programme qui ne fonctionne pas.

En échange, un générateur est un itérateur : un seul parcours, pas de len(), pas d'indexation. Consommé deux fois, il rend zéro élément la seconde fois, sans erreur.

Les termes à connaître

Générateur

Un itérateur produit par une fonction contenant yield, ou par une expression entre parenthèses. Il calcule ses éléments un à un, à la demande, et ne garde en mémoire que l'élément courant.

yield

Mot-clé qui rend une valeur et suspend la fonction en conservant son état complet — variables locales et point d'exécution. L'appel suivant à next() reprend juste après le yield.

Évaluation paresseuse (*lazy*)

Rien n'est calculé avant d'être demandé. Appeler une fonction génératrice n'exécute aucune ligne de son corps : elle renvoie immédiatement un objet générateur.

Expression génératrice

(ligne.strip() for ligne in fichier) : la même chose qu'une compréhension de liste, mais paresseuse. Les crochets construisent tout en mémoire, les parenthèses ne construisent rien.

yield from

Délègue la production à un autre itérable : yield from autre équivaut à for x in autre: yield x, en plus court et en transmettant correctement les valeurs envoyées au sous-générateur.

Pipeline de générateurs

Chaîne de générateurs branchés les uns sur les autres. Chaque élément traverse toute la chaîne avant que le suivant soit lu : la mémoire utilisée ne dépend pas du volume de données.

itertools

Module de la bibliothèque standard dédié aux itérateurs : islice pour couper, chain pour concaténer, count pour compter sans fin, groupby, tee… Tous paresseux.

Lire l'explication détaillée et faire le quiz →

Cette page présente la partie essentielle de la leçon. Les exemples commentés, les pièges courants et les trois questions de quiz sont dans l'application.