kafka整合flume

一、kafka和flume的安装 apache-flume-1.5.2-bin kafka_2.10-0.10.2.1 kafka安装部署 flume学习01—安装

二、flume监控某个目录，将数据发送kafka 2.1、flume source 使用SpoolDir 监控一个目录下的文件内容

SpoolDir监控目录下文件， 处理后的文件修改文件名

问题： 如果上传来的文件,还没有上传完，spoolDir扫描到改文件，

三、在slave2上 测试消费kafka数据 ./bin/kafka-console-consumer.sh –bootstrap-server master:9092,slave1:9092,slave2:9092 –topic topic2