Setting up an agent
Flume agent配置存储在本地配置文件中。 这是一个遵循Java属性文件格式的文本文件。 可以在同一配置文件中指定一个或多个agent的配置。 配置文件包括代理中每个source,sink和channel的属性,以及它们如何连接在一起以形成数据流。
Configuring individual components流中的每个组件(source、sink 、channell)都有特定于类型和实例化的名称,类型和属性集。 例如:
- Avro source需要一个主机名(或IP地址)和一个端口号来接收数据。
- memory channel 可以具有最大队列大小(“容量”)
- HDFS channel 需要知道文件系统URI,创建文件的路径,文件旋转频率(“hdfs.rollInterval”)等。组件的所有这些属性 需要在托管Flume agent的配置文件中设置。
agent需要知道要加载哪些个别组件以及它们如何连接以构成流。 这通过列出agent中的每个source,sink和 channel的名称,然后为每个sink和source指定连接channel来完成。 例如,代理通过名为file-channel的file channel将event从名为avroWeb的Avro source 流传输到HDFS sink 的hdfs-cluster1。 配置文件将包含这些组件的名称和file-channel作为avroWeb source和hdfs-cluster1 sink的共享channel。
start an agent使用名为flume-ng的shell脚本启动agent,该脚本位于Flume的bin目录中。 您需要在命令行上指定agent名称,配置目录和配置文件:
bin/flume-ng agent -n $agent_name -c conf -f conf/flume-conf.properties.template
现在,agent将开始运行在给定属性文件中配置的source和sink。
下面为一个简单配置测试官网上设置的单点测试:
# example.conf: A single-node Flume configuration
#agent的名字为 a1
# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# Describe/configure the source
a1.sources.r1.type = netcat //通过netcat ,任意机器通过telnet发送消息, 本机监听。
a1.sources.r1.bind = master //本机主机名
a1.sources.r1.port = 44444 //监听的端口
# Describe the sink //设置输出信息的位置为控制台
a1.sinks.k1.type = logger
# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
在master上启动一个agent
bin/flume-ng agent --conf /opt/apache-flume-1.6.0-bin/conf/ --conf-file example.conf --name a1 -Dflume.root.logger=INFO,console