交通大数据分析解决方案.pptx

交通大数据分析解决方案;前期基础;一、数据在业务系统中生成到mysql中;数据说明;;导入数据;如果导入时出现错误后，修改一下hive的权限，然后重启一下mysql;导入成功及数据查询;二、使用sqoop抽取数据进入到hive中;从mysql中导入到hive ;比较hive和mysql的运行速度;三、使用spark-sql进行数据归约和预处理，写入hive;Spark sql简介;SparkSQL的发展;SparkSQL的发展;hive + spark联接在一起的配置;代码展示,演示打包过程;unix_timestamp();;关键语句的含义;FROM_UNIXTIME（）;关键语句的含义;关键语句的含义;例子;25;关键语句的含义;执行JAR包;Spark日志配置;四、将结果从hive中抽取到mysql中;1.在mysql中建对应的表;2.使用sqoop导出功能导出到mysql中;再次查看结果;如果执行时出现如下错误，不会影响结果;继续执行另三条命令;五、使用Tableau进行分析和展示;1.Tableau连mysql;启用VM net 8;查看ip地址;PING通虚拟机;;使用tebaleau连接hive;安装流程;;下载插件;使用tebaleau连接mysql;设置远程连接帐户;使用tebaleau连接mysql;首发 2016.1.1-2016.3.31 ETC收费数据分析;1-3月收费额;排除春节影响，3月份车辆运行趋于正常，分析3月份收费额变化情况;3月份每日收费额;3月份日收费额环比变化情况; 分析各车型收费额的情况;3月份每种车型每日收费额;3月份每种车型每日收费额; 分析各出口站点收费额的情况;3月份各出口站点每日收费额;3月份各出口站点每日收费额; 总结通过Tableau作图，分析3月收费额整体变化趋势，可以得出以下结论：1. 3月份收费额整体变化趋势受1号车型的车 辆影响比较大；2. 站点收入对总体收费额的影响比较均衡。 附：目前tableau主要用于数据可视化，分析功能比较弱，此文中涉及的分析只是基于图表，并对图表隐含的信息加以分析说明;。。。5种车型单因素方差分析。。。;5种车型单因素方差分析;进行数据钻取，找出业务问题，得出分析结论;交通大数据分析解决方案;作业