大数据实验1——一个简单的flume实验.docxVIP

大数据实验1——一个简单的flume实验一、概况这次只是想做一个简单的flume实验，为了后面的事情打基础。思路很简单，无论怎样，尽可能简单的完成一个flume实验。无论怎样，利用实验，先熟悉了flume的使用。查了写资料，最终结果如下：一个virtualbox虚拟机下安装centos系统安装必要的几个软件从命令行发出了一些简单的字符在控制端显示这些字符证明flume可用二、执行步骤具体步骤如下：1.virtualbox下安装centos系统。这个步骤其实没什么可以记录的，centos用的是6.5的版本，安装过程中选择的“开发工作站”尽可能的多装一些东西，英文版，个人习惯。需要记录的是在调整网络的时候，虚拟机用的是NAT连接网络，保证虚拟机可上网就好了。2.安装几个必要的软件最终实现的时候，用了telnet，这是没有默认安装的，实际上应该只用到了telnet的客户端，但我不管什么，都安装了，毕竟是一个实验，核心是flume，其他无所谓。命令如下：rpm -qa | grep telnet#查看是否有安装telnetyum list | grep telnet#查看yum安装列表中是否有telnet＃安装yum install xinetd#据说是telnet依赖的，没有仔细研究?yum install telnet#应该是telnet客户端吧？yum install telnet-server#应该是telnet服务器端吧？# 启动服务service xinetd restart#重启xinetd#关闭防火墙，后面用到telnet localhost，可能会被防火墙拦截，没有仔细研究配置，反正是实验，直接关闭serviceiptables stop3.安装flume下载flume，从flume网站下载，我用的是1.6.0版本解压flume，在flume的bin目录下执行flume-ng version可以查看flume版本另外，由于开发工作站版本，所以安装了java，否则还需要再安装java写一个flume配置文件，文件内容如下：a1.sinks = k1?a1.channels = c1?a1.sources.r1.type = netcat?a1.sources.r1.bind = localhost?a1.sources.r1.port = 44444?a1.sinks.k1.type = logger?a1.channels.c1.type = memory?a1.channels.c1.capacity = 1000?a1.channels.c1.transactionCapacity = 100?a1.sources.r1.channels = c1?a1.sinks.k1.channel = c1另外，注意，写配置文件的时候，单词后面是否是复数，我就是有些地方忘记了s以及有些地方多加了s导致调试了很长时间。把配置文件存储到flume的conf目录下，命名为example.conf文件执行命令：bin/flume-ng agent --confconf --conf-file ./conf/example1.conf --name a1 -Dflume.root.logger=INFO,consoleflume成功执行4.测试flume另外启动一个命令行执行命令：telnet localhost 44444在flume命令行窗口会看到结果。