Kafka中的Leader选举是通过 Zookeeper 实现的。当某个分区的Leader失效时,会触发Leader选举来选出新的Leader副本。
选举的主要流程是:
- Kafka controller 监控所有broker的心跳,如果发现某个分区的Leader失效,则触发该分区的Leader选举。
- Kafka controller 获取该分区的ISR(In-Sync Replica)集合。只有ISR中的副本才有资格被选为新的Leader。
- Kafka controller 从ISR中选出形成选票的副本集合。这里会排除一些滞后的副本或主机过载的副本。
- Kafka controller 在选票的副本集合中选出新的Leader副本。选定规则是:
- 优先选择分区位于当前broker的副本。这可以最大限度保持分区于broker的分布不变。
- 其次选择分区滞后时间最短的副本。滞后时间越短的数据越同步,越适合作为Leader。
- 一旦新Leader被选出,Kafka controller 会在Zookeeper中的该分区节点上创建新的Ephemeral节点来标识Leader。
- 所有的副本会监控Zookeeper中该分区节点的子节点变化。一旦监测到新的Leader标识节点,就会更新自己的Leader信息。
- 新的Leader开始接管所有的读写请求,旧的Leader变为Follower,从新的Leader同步数据。
- ISR集合也随着Leader的变化而变化。新Leader首先加入ISR,然后会判断其余副本与自己的数据同步情况来更新ISR。
所以简而言之,Kafka通过监控broker和分区的Leader副本,在Leader失效时会选出ISR中的副本作为新的Leader。新Leader信息会在Zookeeper的相应分区节点上进行标识。各个副本通过监听Zookeeper的节点变化来发现新的Leader并随之更新。
Leader选举机制是Kafka实现高可用的基石。它可以确保在任何时刻每个分区都有一个正常工作的Leader,继续处理读写请求,保证Kafka集群的可用性。