以下方式递增优化
- SparkStreaming自带的checkpoint
★ 这种方式的前提是代码不能发生任何变化,如果代码发生变化,metadata就会发生变化,导致读取不到数据
示例
1 | object SparkStreaming3 { |
- offset存储在redis,并在程序获取数据的时候传递offset
1 | object SscKafkaDirectApp4 { |
★ 以上只是将Offset维护在redis,也可以维护在mysql、zookeeper
- 本文作者: cll
- 本文链接: https://keeponcoding.github.io/2018/03/31/SparkStreaming+Kafka的offset管理/
- 版权声明: 本博客所有文章除特别声明外,均采用 Apache License 2.0 许可协议。转载请注明出处!