您当前的位置: 首页 >  大数据

段智华

暂无认证

  • 3浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

大数据Spark “蘑菇云”行动第50课程 Spark 2.0项目概述 项目!!!大项目!!!超大型大数据项目!!!

段智华 发布时间:2016-09-20 21:20:57 ,浏览量:3

大数据Spark “蘑菇云”行动第50课程 Spark 2.0项目概述

从9月20号的大数据项目课程内容开始,所有的同学每节课必须按照课程内容动手实战,且基于课程内容写项目的学习博客;

第一步:
需求:数据的输入和数据的产出,大数据技术项目好比一台榨汁机,数据输入相当于例如苹果、柠檬等,然后通过榨汁机产出果汁;
 
 
第二步:数据量、处理效率、可靠性、维护性、简洁性
 
 
第三步:数据建模
 
第四步:架构设计:数据怎么进来,输出怎么展示,最最重要的是处理流出的架构;
 

第五步:我会再次思考大数据系统和企业IT系统的交互;  

第六步:最终确定的技术(例如Spark、Kafka、Flume、HBase)选择、规范等

 

第七步骤:基于数据建模写基础服务代码

 

第八步:正式编写第一个模块!编码、测试、调试、改进等等

 

第九步:实现其它的模块,并完成测试和调试等

 

第十步:测试和验收
 
 
 
关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.1351s