第97课: 使用Spark Streaming+Spark SQL+mysql 实现在线动态计算出特定时间窗口下的不同种类商品中的热门商品排名.
/* 王家林老师授课http://weibo.com/ilovepains 每天晚上20:00YY频道现场授课频道68917580*/ 使用Spark Streaming+Spark SQL+Mysql来在线动态计算电商中不同类别中最热门的商品排名,例如手机这个类别下面最热门的三种手机、电视这个类别 下最热门的三种电视,该实例在实际生产环境下具有非常重大的意义;
Spark Streaming+Spark SQL+mysql 知易行难,也是知难行易
1, java.lang.NullPointerException 空指针问题解决
- foreachRDD、foreachPartition 增加isEmpty的判断
- 单元测试,单独把数据库连接入库的代码运行,硬编码方式插入记录,验证数据库连接正常。
- 看foreachRDD、foreachPartition的源代码,加深对foreachRDD、foreachPartition理解。
- nc -lk 9999 输入数据格式的规范,避免输入数据格式出错。
- 打印日志排查 reseltDataFram.show() resultRowRDD.take(10).foreach(println)
2,java.sql.SQLException: Access denied for user 'root'@'worker6' 权限问题解决
<