Kafka 中的消费者组(Consumer Group)是消费者的逻辑分组,每个消费者组包含一个或多个消费者实例。同一个消费者组中的消费者实例会负责消费不同分区的数据,以达到负载均衡的目的。
消费者组的主要作用有:
- 1. 消息负载均衡:同一个消费者组中的多个消费者可以并行消费消息,以实现负载均衡。
- 2. 消息广播:将消息广播给同一个消费者组中的所有消费者。
- 3. 避免消息重复消费:同一个消费者组中的消费者将同一消息只消费一次。
例如,我们有一个 Topic 有 6 个分区,然后有两个消费者实例属于同一个消费者组。那么这 6 个分区的消息会被两个消费者平均消费,每个消费者消费 3 个分区的数据,以实现负载均衡。
又例如,我们有一个需要将消息广播给多个应用实例的场景。我们可以启动多个消费者,让它们属于同一个消费者组。那么消息会被广播给同一个消费者组中的所有消费者。
再例如,如果我们有两个消费者属于不同的消费者组,它们消费同一个 Topic。那么这两个消费者有可能会重复消费某些消息。如果两个消费者属于同一个消费者组,由于同一消息只会被同一个消费者组消费一次,那么就可以避免消息重复消费。
总之,消费者组实现了 Kafka 消息消费的扩展性与补偿机制。