您当前的位置: 首页 >  ar

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

第97课: 使用Spark Streaming+Spark SQL+mysql 实现在线动态计算出特定时间窗口下的不同种类商品中的热门商品排名(详细内幕版本)

段智华 发布时间:2016-05-24 20:51:44 ,浏览量:0

第97课:  使用Spark Streaming+Spark SQL+mysql 实现在线动态计算出特定时间窗口下的不同种类商品中的热门商品排名.

 /* 王家林老师授课http://weibo.com/ilovepains  每天晚上20:00YY频道现场授课频道68917580*/  使用Spark Streaming+Spark SQL+Mysql来在线动态计算电商中不同类别中最热门的商品排名,例如手机这个类别下面最热门的三种手机、电视这个类别   下最热门的三种电视,该实例在实际生产环境下具有非常重大的意义;

Spark Streaming+Spark SQL+mysql  知易行难,也是知难行易

1, java.lang.NullPointerException 空指针问题解决

  •       foreachRDD、foreachPartition 增加isEmpty的判断 
  •       单元测试,单独把数据库连接入库的代码运行,硬编码方式插入记录,验证数据库连接正常。
  •       看foreachRDD、foreachPartition的源代码,加深对foreachRDD、foreachPartition理解。
  •       nc -lk 9999 输入数据格式的规范,避免输入数据格式出错。
  •      打印日志排查  reseltDataFram.show() resultRowRDD.take(10).foreach(println)

2,java.sql.SQLException: Access denied for user 'root'@'worker6' 权限问题解决

<
关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.0450s