本文共 1066 字,大约阅读时间需要 3 分钟。
我们需要使用Flume监听一个指定端口,收集该端口的数据,并将其打印到控制台。
为了实现上述需求,我们需要以下几个关键组件:
作用:监听特定TCP端口收到的数据,将每行数据封装成一个事件。
作用:使用日志输出器将事件输出到控制台或文件。
作用:用于缓冲事件数据,确保数据处理的高效性。
[sudo yum install -y nc] # 安装netcat工具
mkdir -p flume/job # 创建工作目录cd flume/job # 进入工作目录vim flume-netcat-logger.conf # 打开配置文件
bin/flume-ng agent -c conf/ -n a1 -f job/flume-netcat-logger.conf -Dflume.root.logger=INFO,console
nc localhost 44444 < "hello bigdata"
# 配置文件内容a1.sources = r1a1.sinks = k1a1.channels = c1a1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444a1.sinks.k1.type = loggera1.channels.c1.type = memorya1.channels.c1.capacity = 1000a1.channels.c1.transactionCapacity = 100a1.sources.r1.channels = c1a1.sinks.k1.channel = c1
-c:指定配置文件存储路径-n:指定Flume Agent的名称-f:指定要加载的配置文件路径-Dflume.root.logger=INFO,console:设置日志打印级别为INFO,输出到控制台nc localhost 44444 < "hello bigdata"
通过Flume的监控界面可以实时观察数据接收情况。
转载地址:http://xmoh.baihongyu.com/