Spark Streaming 实战（2） kafka+zookeeper+spark streaming 的windows本地测试Demo

Spark Streaming 实战（2） kafka+zookeeper+spark streaming 的windows本地测试Demo

之前搭建了kafka+zookeeper+spark streaming 的windows本地测试环境，先做一个小demo，spark和本地kafka跑通

1，spark streaming测试代码

public class BeijingStreamingStatsDemo {

    public static void main(String[] args) {

		/*
		 * 第一步：配置SparkConf： 1，至少2条线程：因为Spark Streaming应用程序在运行的时候，至少有一条
		 * 线程用于不断的循环接收数据，并且至少有一条线程用于处理接受的数据（否则的话无法
		 * 有线程用于处理数据，随着时间的推移，内存和磁盘都会不堪重负）；
		 * 2，对于集群而言，每个Executor一般肯定不止一个Thread，那对于处理Spark Streaming的
		 * 应用程序而言，每个Executor一般分配多少Core比较合适？根据我们过去的经验，5个左右的
		 * Core是最佳的（一个段子分配为奇数个Core表现最佳，例如3个、5个、7个Core等）；
		 *
		 *
		 */
        SparkConf conf = new SparkConf().setMaster("local")
                .setAppName("BeijingStreamingStatsDemo"