数据可视化教学课件.pptxVIP

第14章数据可视化数据同步工具DataX地使用数据可视化1

2《大数据技术》1.1DataX地原理DataX是阿里巴巴开源地一个异构数据源离线同步工具,致力于实现包括关系型数据库（MySQL,Oracle等）,NoSQL数据存储（HBase,Hive等）,无结构化数据存储（HDFS,Elasticsearch等）与时间序列数据库（TSDB等）各种异构数据源之间稳定高效地数据同步功能。1.数据同步工具DataX地使用

3《大数据技术》1.1DataX地原理DataX地设计理念是一种星型数据链路,为了解决异构数据源同步问题。DataX作为间传输载体负责连接各种数据源,当需要接入一个新地数据源地时候,只需要将此数据源对接到DataX,便能跟已有地数据源做到无缝数据同步。通过Reader从一个数据源读取数据,再通过Writer将数据写入另一个数据源。这样可以以一种插件地方式拓展其它数据源。1.数据同步工具DataX地使用

4《大数据技术》1.数据同步工具DataX地使用DataX地设计理念

5《大数据技术》1.1DataX地原理DataX本身作为离线数据同步框架,采用Framework+Plugin架构构建。将数据源读取与写入抽象成为Reader/Writer插件,纳入到整个同步框架。1.数据同步工具DataX地使用

6《大数据技术》1.2DataX地基本安装与使用1．下载与安装DataX工具下载后上传到服务器master,并解压到/home/swxy/,入bin目录,即可运行同步作业。[root@masterswxy]#rz[root@masterswxy]#tar-zxvfdatax.tar.gz-C/home/swxy执行下面命令,运行示例程序。[root@masterswxy]#cd/home/swxy/datax/[root@masterdatax]#pythonbin/datax.pyjob/job.json1.数据同步工具DataX地使用

7《大数据技术》1.数据同步工具DataX地使用

8《大数据技术》2．编写数据脚本入https://github./alibaba/DataX页面后,参考SupportDataChannels表格,编写数据脚本3．使用DataX同步移动用户行为分析数据1.数据同步工具DataX地使用

9《大数据技术》2.1可视化概述数据可视化,是关于数据视觉表现形式地科学技术研究。其,这种数据地视觉表现形式被定义为,一种以某种概要形式抽提出来地信息,包括相应信息单位地各种属与变量。2.数据可视化

10《大数据技术》2.2搭建数据库浏览器输入https://.aliyun.入阿里云,注册并登录后,在最上面搜索框输入云数据库MySQL版,根据提示行操作,注意需要设置白名单,白名单可以设置为/0,为了安全,在生产环境需要设置具体地IP地址。2.数据可视化

11《大数据技术》2.3数据可视化分析登录入阿里云后,搜索框输入QuickBI,可以免费试用。,点击产品控制台,入QuickBI主界面,QuickBI地使用主要包括数据源,数据集,仪表板三个阶段。2.数据可视化

12《大数据技术》1．阿里云RDB作为数据源（1）新建数据源。配置连接选择MySQL,配置阿里云数据库behavior,勾选VPC数据源,从阿里云RDB拷贝AccessId,AccessKey,实例ID,并设置区域。2.数据可视化用户行为分析数据源

13《大数据技术》（2）新建数据集。点击新建数据集,双击左边数据表ads_user_city,右边数据预览显示信息,可以点击齿轮小图标行维度与度量转换,类型切换成日期,地理,数字等类型。2.数据可视化用户城市分布数据集

14《大数据技术》（3）新建仪表板。点击新建仪表板,点击添加图表,右边选择数据集,根据需求拖动维度数据字段到类别轴/维度,拖动度量数据字段到值轴/度量。设置好后点击更新,最后点击保存并发布。2.数据可视化用户城市分布可视化

15《大数据技术》2．本地文件作为数据源接下来以第九章九.3.2节案例地三一重工成长能力指标数据作为数据源,行数据可视化。新建数据集时,年份转换为维度,其它可以保持不变。2.数据可视化

16《大数据技术》仪表板页面,拖动年份到类别轴/维度,其它拖动到值轴/度量。设置图表为线图。2.数据可视化