随着互联网行业的发展,人们对数据处理的时效性、可靠性以及准确性要求越来越高,实时计算也得到了蓬勃的发展。
本次分享将着重于介绍携程基于 Spark Streaming,构建实时计算平台的整套技术方案、架构,目前的使用场景,以及打造平台过程中遇到的挑战和问题。
实录提要:
- Metrics 性能监控,生产环境在一个 App 怎么加监控,怎么获取?
- 能支持的最大消息并发是多少?在仅有一次和至少一次的场景下,性能能差多少?
- 平台监控是怎么做的,包括资源监控、任务监控等?
- metric 信息是直接发送到时序数据库中的吗,会不会影响任务本身的性能?
- CDH 的 Spark 是不是有限制?
- Hive On Spark 会好点,还是只是 Hive 好点?
- 对于作业的资源分配,有没有什么规律?
- 广播变量是不是不能更新的?
- Spark Streming 怎么解决数据迟到?
作者/分享人:潘国庆,携程大数据平台资深研发工程师。2016 年加入携程,致力于实时计算领域的研究,负责调研、研发与维护携程实时计算平台。
阅读全文: http://gitbook.cn/gitchat/activity/59965e00178dab1d84760d11
您还可以下载 CSDN 旗下精品原创内容社区 GitChat App ,阅读更多 GitChat 专享技术内容哦。