Kafka消息的分区(Partition)是指消息在物理上的分组。每个分区对应一个日志文件,日志文件由消息的序列组成。分区的主要作用是:
- 提高吞吐量:每个分区可以由消费者组内的一个消费者独立消费,这样可以并行消费消息并提高吞吐量。
- 容量扩展:可以通过增加分区数 LINEARLY 来扩展主题的容量和吞吐量。
- 负载均衡:可以通过分区分配机制将分区均匀分布在集群内的Broker上,实现负载均衡。
- 顺序保证:每个分区内的消息永远有序,消费者按分区消费消息可以保证消息顺序。
- 并行处理:多个消费者可以并行消费不同分区的消息,以实现高吞吐的并行处理。
Kafka 分区的主要规则是:
- 每个主题包含一个或多个分区。
- 每条消息只属于一个分区。
- 生产者通过分区器(默认哈希或随机)选择消息所属的分区。
- 各分区消息在物理上分别存储,互不影响。
- 每个分区对应一个消费者游标(offset),标记消费进度。
- 消费者组内每个消费者负责消费一部分分区。
例如,一个主题有3个分区,生产者随机将消息发布到3个分区。消费者组有2个消费者,每个消费者分别消费1个和2个分区的消息。这样可以提高消费吞吐量并发挥多核CPU的能力。
理解Kafka分区的规则与作用,有助于我们在应用中合理定义主题分区数和消费者数以实现高吞吐。