Kafka 中的水位线(Watermark)是用于数据流式处理的机制,它定义了消息消费的进度。在 Kafka 的 Stream API 中,应用程序可以通过水位线来跟踪消息处理进度。
水位线的主要作用有:
- 1. 允许应用程序跟踪消费进度:通过定义水位线,应用程序可以清楚地知道它已经消费了多少消息。
- 2. 支持事件时间语义:通过定义消息处理的事件时间和水位线的事件时间,应用程序可以基于事件时间而非处理时间来处理消息。
- 3. 支持容错:当应用程序重启或失败时,它可以通过水位线恢复到正确的消息处理进度,避免重复或者遗漏消息。
例如,我们有一个从 Topic T 中读取消息的应用程序 A。
A 定义它的水位线为 10,表示它已经消费了 T 中 0-9 条消息。
当 A 要处理新消息时,它会将水位线加 1,比如变为 11,表示它将要处理第 10 条消息。
如果 A 宕机重启,它会从水位线 11 开始重新消费 T 中的消息,避免重复消费 0-9 条消息或遗漏第 10 条消息。
通过水位线,应用程序可以清晰地跟踪消息消费进度,实现容错恢复和事件时间语义。水位线在流式处理中发挥着重要作用。
理解 Kafka 水位线机制及其作用,可以让我们构建基于 Kafka 的稳定高可用的数据流应用。这也是使用 Kafka 流式处理的基础。