第91课:SparkStreaming基于Kafka Direct案例实战和内幕源码解密 /* * *王家林老师授课http://weibo.com/ilovepains */ 每天晚上20:00YY频道现场授课频道68917580
1、作业内容:SparkStreaming基于Kafka Direct方式实现,把Kafka Direct理解成为像hdfs的数据源,SparkStreaming直接读取数据进行流处理。
2、之前的spark集群环境: spark 1.6.0 kafka_2.10-0.9.0.1 3、java开发SparkStreamingDirected,读取topic SparkStreamingDirected中的数据。 4、kafka中创建topic SparkStreamingDirected161,生产者输入数据。
5、将SparkStreamingDirected 在ecliplse中export打成jar包,提交spark运行,准备从kafka中读取数据。
6、结果spark submit运行中报java.lang.ClassNotFoundException,踩坑记录 :
-com.dt.spark.SparkApps.SparkStreaming.SparkStreamingOnKafkaDirected,要更新加上类名SparkStreamingOnKafkaDirected -kafka/serializer/StringDecoder:submit时指定--jars /usr/local/kafka_2.10-0.