Accueil › Spring Boot › Kafka avec Spring
Kafka avec Spring
Événements et messagerieavance
Kafka est un journal distribué : les producteurs écrivent des messages dans des topics, découpés en partitions ordonnées. Un message consommé n'est pas supprimé — il reste disponible selon la rétention configurée, et peut être relu. Chaque consumer group garde sa propre progression (les offsets), indépendamment des autres groupes qui liraient le même topic.
Publier avec KafkaTemplate :
@Service
public class CommandeProducer {
private final KafkaTemplate<String, CommandeDto> kafkaTemplate;
public void publier(CommandeDto commande) {
kafkaTemplate.send("commandes", String.valueOf(commande.clientId()), commande);
}
}
Consommer avec @KafkaListener :
@Component
public class CommandeConsumer {
@KafkaListener(topics = "commandes", groupId = "facturation")
public void consommer(CommandeDto commande) {
facturationService.traiter(commande);
}
}
La clé (ici clientId) détermine la partition : deux messages avec la même clé restent dans l'ordre l'un par rapport à l'autre, ce qui n'est pas garanti entre partitions différentes. Un groupId identifie un ensemble de consommateurs qui se répartissent les partitions ; augmenter le nombre d'instances jusqu'au nombre de partitions augmente le parallélisme de consommation.
Les termes à connaître
- Topic
Flux nommé d'événements, découpé en une ou plusieurs partitions. Un topic n'est pas une file d'attente classique : les messages consommés ne sont pas supprimés, ils restent disponibles (selon la politique de rétention) et peuvent être relus.
- Partition
Sous-division d'un topic, ordonnée et immuable : les messages y sont ajoutés en séquence et numérotés par un offset. L'ordre n'est garanti qu'à l'intérieur d'une même partition, jamais entre partitions différentes.
- Offset
Position d'un message dans sa partition. Un consumer group mémorise, pour chaque partition, le dernier offset traité — c'est ce qui lui permet de reprendre où il s'était arrêté.
- Consumer group
Ensemble de consommateurs identifiés par un
group.idcommun, qui se répartissent les partitions d'un topic : chaque partition n'est lue que par un seul membre du groupe à la fois. Ajouter des instances jusqu'au nombre de partitions augmente le parallélisme.- Clé de message (key)
Valeur optionnelle associée à un message. Kafka calcule sa partition à partir du hash de la clé : deux messages avec la même clé finissent toujours dans la même partition, donc traités dans l'ordre l'un par rapport à l'autre. Sans clé, la répartition est round-robin.
- KafkaTemplate
Client Spring pour publier des messages (
send(topic, clé, valeur)), fourni parspring-kafka. Retourne unCompletableFuturepour suivre l'accusé de réception du broker.- @KafkaListener
Annotation posée sur une méthode pour en faire un consommateur d'un ou plusieurs topics (
topics = "...",groupId = "..."). Nécessite@EnableKafka(activé automatiquement par l'auto-configuration Spring Boot dès quespring-kafkaest sur le classpath).- DeadLetterPublishingRecoverer
Stratégie de récupération qui republie, après échec persistant du traitement, le message original vers un topic dédié aux erreurs (par convention
<topic>.DLT), en conservant l'exception dans les en-têtes du message.
Cette page présente la partie essentielle de la leçon. Les exemples commentés, les pièges courants et les trois questions de quiz sont dans l'application.