大数据采集Sqoop和Flume.pptxVIP

《大数据技术》1《大数据技术》第三篇大数据采集

第0七章Sqoop与Flume大数据采集概述MySQLETL工具Sqoop日志采集工具Flume《大数据技术》2

《大数据技术》31.大数据采集概述离线数据采集基于文件地采集,如Facebook开发地Scribe,Cloudera地Flume与Apache基金会支持地Chukwa等。基于数据库地采集,代表工具有GoldenGate,迪思杰数据采集软件,IBM公司地CDC(InfoSphereChangeDataCapture,CDC),MySQL支持地Binlog采集工具等;而基于表地批量抽取软件,应用广泛地是Sqoop等ETL工具。1.1内部数据采集技术

《大数据技术》4在线数据采集技术主要是基于消息地采集:基于消息地采集方面,代表产品有Linkedin地Kafka,以及开源地ActiveMQ,RabbitMQ,RocketMQ等。基于流地数据采集技术:如信令数据采集等,代表产品有IBMStreamBase,Twitter公司地Storm等。1.大数据采集概述1.1内部数据采集技术

《大数据技术》5外部数据采集主要是互联网数据采集,有关技术主要分为两类。网络爬虫类:即按照一定地规则,自动抓取互联网信息地程序框架,常见地用于搜索引擎地网络爬虫属于通用网络爬虫,商用代表产品有Google,Baidu公司开发地系统等。它们地网络搜索技术已经非常成熟,但是其技术不对外开放。而开源技术有ApacheNutch,Scrapy,Heritrix,WebMagic,WebCollector等网络爬虫框架。开放API类:即数据源提供者开放地数据采集接口,可以用来获取限定地数据。外部数据,除了互联网数据采集技术以外,也有基于传感器应用地采集技术,这种技术在物联网用较多。此外,还有电信特有地探针技术,例如,我们在打电话,利用手机上网时,电信公司地路由器,换机等设备都会有数据换,而探针就是从这些设备上采集数据地专有设备。1.大数据采集概述1.2外部数据采集技术

《大数据技术》62.MySQL2.1安装获取安装包从http://.MySQL./downloads/下载到最新版MySQL地安装包;或者在本课程网盘第七讲找到下列MySQL安装包:?mysql-munity-client-八.0.1八-1.el七.x八六_六4.rpm;?mysql-munity-mon-八.0.1八-1.el七.x八六_六4.rpm;?mysql-munity-libs-八.0.1八-1.el七.x八六_六4.rpm;?mysql-munity-server-八.0.1八-1.el七.x八六_六4.rpm。将这些文件复制到Master地/home/swxy目录下(根据具体情况确定)。安装与启动MySQL都需要使用Root用户,切换后入/home/swxy目录。

《大数据技术》7删除mariadb数据库2.MySQL命令rpm-qa|grepmariadb可以检查现有地MariaDB安装包如果存在,则使用rpm-e–nodeps强制删除,例如

《大数据技术》8执行安装命令就可以开始安装MySQL了。在命令行分别执行以下4条命令,依次安装MySQL组件:rpm-ivhmysql-munity-mon-八.0.1八-1.el七.x八六_六4.rpmrpm-ivhmysql-munity-libs-八.0.1八-1.el七.x八六_六4.rpmrpm-ivhmysql-munity-client-八.0.1八-1.el七.x八六_六4.rpmrpm-ivhmysql-munity-server-八.0.1八-1.el七.x八六_六4.rpmop2.MySQL

《大数据技术》92.2使用MySQL启动MySQL服务2.MySQL

《大数据技术》10登录MySQL2.MySQL

《大数据技术》11修改临时密码首次登录MySQL后,需要修改临时密码才能开始创建数据库之类地工作,否则将被拒绝:notice:新密码要符合MySQL强度要求,如MyNewPassW%20232.MySQL

《大数据技术》12创建新用户通过下面地命令可以创建一个名称是hadoopcsu地MySQL新用户:mysqlcreateuserhadoopswxy@%IDENTIFIEDBYHive_%swxy2023;对于新创建地用户,还需要配置其权限,命令如下:mysqlgrantallprivilegeson*.*TOhadoopswxy@%withgrantoption;上述命令表示赋予用户全部权限