Kafka 中的控制器(Controller)是一个特殊的 Broker 节点,用于管理 Kafka 集群中的分区副本分配和故障检测。
控制器的主要作用有:
- 分区副本分配:控制器负责分区副本的分配,决定每个分区的副本应分布在哪些 Broker 上。
- ISR 管理:控制器维护着每个分区的 ISR 列表,负责在 Broker 失效时将其从 ISR 中移除。
- Leader 选举:控制器在 Leader 失效时负责从 ISR 中选举出一个新的 Leader。
- 平衡分区:控制器负责监控集群中的每个 Broker 上的分区分布情况,并在必要时触发分区平衡操作。
- 失效检测:控制器负责检测 Broker 失效和 Broekr 恢复,并作出相应调整以维持集群稳定。
例如,当一个 Topic 刚创建时,控制器会选择集群中的几个 Broker 作为其分区的副本,并选举出每个分区的 Leader。
如果 Leader 所在的 Broker 失效,控制器会从该分区的 ISR 中选举出一个新的 Leader 作为替代。
如果某个 Broker 上的分区数量远超其他 Broker,控制器会触发分区移动操作,将部分分区迁移至其他 Broker 以实现分区平衡。
控制器是 Kafka 高可用机制的关键,它通过管理分区副本和监控 Broker 状况来维持集群稳定。理解控制器的作用机制,可以让我们更好地运维和监控 Kafka 集群。