08-数据获取与Flume应用.pptxVIP

数据获取与Flume应用Data acquisition and Flume application主讲人目录公开数据资源获取使用网络爬虫获取数据使用Flume获取数据综合案例习题公开数据资源获取1公开数据资源获取政府类数据平台：对外公开的数据平台包括国家统计局网站、国家数据网站、中国经济网等。各行业机构类数据平台：数据堂、百度预测、友盟+等。国际上的公开数据平台：World Bank、Kaggle等使用网络爬虫获取数据2使用网络爬虫获取数据搜索引擎的大致架构使用网络爬虫获取数据爬虫的工作原理 网络爬虫作为搜索引擎中用于获取信息的重要手段，主要利用TCP/IP、HTTP等网络协议，基于超链接和网页文档检索的方法遍历互联网信息空间，是一种功能很强大的、能够自动获取网页信息的程序。一个爬虫系统，主要由调度器、下载器、网页解析器和传输器四大部分组成。通用爬虫框架使用网络爬虫获取数据爬虫的工作原理 爬虫最重要的功能是，通过TCP/IP、HTTP等协议制定相关的获取策略从互联网上下载需要的网页通用爬虫工作原理使用网络爬虫获取数据爬虫的搜索策略 当网络爬虫遍历某个网页源码时，它利用HTML的标记结构来搜索信息并获取指向其他网页的URL。网络爬虫在搜索时往往采用一定的搜索策略，可以完全不依赖用户干预去实现网络信息的自动获取。传统的爬虫技术一般采用以下3种搜索策略。深度优先搜索策略宽度优先搜索策略聚焦搜索策略使用网络爬虫获取数据爬虫的简单应用 不论是简单的爬虫程序，还是复杂的爬虫程序，其核心都是对正则表达式的运用。 这里使用Python编写一个简单的爬虫程序，用于理解爬虫的基本工作原理。该程序主要用于获取特定网页，解析其内容，并将其中包含的超链接提取出来保存到文件中。安装Python环境程序中需要用到两个Python的函数库。Requests：采用Python语言实现，遵循Apache License 2.0 开源协议的基于 urllib的HTTP库。比 urllib 更加方便，可以很好地满足HTTP测试需求。Re：提供了正则表达式功能，正则表达式的模式（Pattern）可以被编译成一系列的字节码，然后用C语言编写的引擎执行。新建data目录，存放爬虫文件[hadoop@master ~] $ mkdir /home/hadoop/data使用网络爬虫获取数据爬虫的简单应用进入data目录，创建一个名为crawler.py的文件，并编辑。 [hadoop@master ~] $ cd /home/hadoop/data [hadoop@master data] $ vim crawler.py在终端运行爬虫程序 [hadoop@master data]$ python crawler.py这时在程序所在的同级目录中会生成一个名为info.txt的文件使用网络爬虫获取数据爬虫的简单应用查看获取的数据信息[hadoop@master data]$ cat info.txt使用Flume获取数据3使用Flume获取数据Flume简介 Flume是一个分布式的日志收集系统，具有高可靠、高可用、事务管理、失败重启等特点。Flume可有效地从不同的源收集、聚合和传输大量日志数据到集中式数据存储设备。其设计原理是基于数据流的。 可以利用Flume将日志数据从各种网站服务器上汇集起来存储到HDFS、HBase等分布式存储系统中。Flume数据收集结构使用Flume获取数据Flume简介 Flume作为业界广泛认可和应用的实时日志收集系统，具有以下几个重要的特点：Flume可以高效地将收集的日志信息存入HDFS、HBase等分布式存储系统中或者直接移交到Hadoop系统中；除了日志信息，Flume也可以用来收集规模宏大的社交网络的时间节点数据，比如Facebook、Twitter等；Flume支持多种接入资源数据的类型以及输出资源数据的类型；Flume支持多路径流量、多管道接入和输出、上下文路由等；可以支持被水平扩展使用Flume获取数据Flume简介 Flume在大数据中业务中，主要用于数据采集。使用Flume收集数据的Hadoop业务流程使用Flume获取数据Flume运行机制 Flume收集数据是通过日志收集节点上运行的Agent实现的，Flume以Agent为最小的独立运行单位，一个Agent就是在JVM中运行的一个独立Flume进程。Agent包含Source、Channel、Sink三大核心组件。Flume架构使用Flume获取数据Flume运行机制Source：专门用来对接数据源，可以处理各种类型、各种格式的日志数据，如下表所示，包括Exec、Spooling Directory、NetCat、Avro、Thrift、Sequence Gener