您当前的位置: 首页 >  Java

段智华

暂无认证

  • 0浏览

    0关注

    1232博文

    0收益

  • 0浏览

    0点赞

    0打赏

    0留言

私信
关注
热门博文

第91课:SparkStreaming基于Kafka Direct案例实战和内幕源码解密 java.lang.ClassNotFoundException 踩坑解决问题详细内幕版本

段智华 发布时间:2016-04-30 21:59:32 ,浏览量:0

第91课:SparkStreaming基于Kafka Direct案例实战和内幕源码解密    /* * *王家林老师授课http://weibo.com/ilovepains */  每天晚上20:00YY频道现场授课频道68917580

 

1、作业内容:SparkStreaming基于Kafka Direct方式实现,把Kafka Direct理解成为像hdfs的数据源,SparkStreaming直接读取数据进行流处理。

2、之前的spark集群环境:    spark 1.6.0    kafka_2.10-0.9.0.1    3、java开发SparkStreamingDirected,读取topic SparkStreamingDirected中的数据。   4、kafka中创建topic SparkStreamingDirected161,生产者输入数据。

5、将SparkStreamingDirected 在ecliplse中export打成jar包,提交spark运行,准备从kafka中读取数据。

6、结果spark submit运行中报java.lang.ClassNotFoundException,踩坑记录 :

   -com.dt.spark.SparkApps.SparkStreaming.SparkStreamingOnKafkaDirected,要更新加上类名SparkStreamingOnKafkaDirected    -kafka/serializer/StringDecoder:submit时指定--jars  /usr/local/kafka_2.10-0.

关注
打赏
1659361485
查看更多评论
立即登录/注册

微信扫码登录

0.0450s