目录
- 背景
- 第一部分 温热集群整体架构
- 第二部分 架构配置
- 第三部分 架构维护相关
- 第四部分 基于hot-warm架构的读写分离实现
- 总结
- 参考文献及资料
背景
Structured Streaming接口在社区2.0版本发布测试接口，主要暴露最初的设计思路及基本接口，不具备在生产环境使用的能力；2.1版本中Structured Streaming作为主要功能发布，支持Kafka数据源、基于event_time的window及watermark功能，虽然还在Alapha阶段，但从实现的完备程度及反馈来看已具备初步的功能需求。
发展历程：
- 2.0版本发布测试接口
- 2.1版本中Structured Streaming作为主要功能发布，支持Kafka数据源、基于event_time的window及watermark功能，虽然还在Alapha阶段，但从实现的完备程度及反馈来看已具备初步的功能需求
- spark-2.2.0 ，可用于生产环境
第一部分 设计原理
1.1 Spark streaming存在的问题
第二部分 编程实践
第三部分 总结
https://www.iteblog.com/archives/2084.html
http://slamke.github.io/2017/04/06/Structured-Streaming%E4%BB%8B%E7%BB%8D/
https://zhuanlan.zhihu.com/p/51883927
参考文献和资料
1、Structured Streaming Programming Guide，链接：http://spark.apache.org/docs/latest/structured-streaming-programming-guide.html