项目6 大数据分析与处理.pptxVIP

项目6大数据分析与处理;项目导读;;CONTENTS;任务一;任务描述;任务描述;可视化分析;诊断分析;预测分析;预测性分析的步骤：建立预测模型，模型评估和预测;预测性分析的数据挖掘算法;预测性分析的数据挖掘算法;预测分析典型应用：

天气预报、体育赛事预测、股票市场预测、市场物价

;AI智能分析;CONTENTS;任务描述;大数据采集及预处理;Flume特性;Flume核心概念：

依赖Java运行环境，支持自定义开发，常见客户端有Avro、Log4J、Syslog和HTTPPost

支持数据路由

Channel：数据缓存可以使用不同配置，例如内存，文件，JDBC等

Source：Source负责接收输入数据，并将数据写入管道，支持数据有HTTP，JMS，RPC，NetCat，Exec，SpoolingDirectory

Sink：负责读出数据并发给最终的目的地，支持HDFS，HBASE，Sol，也就是物联网的数据也能在这里进行输出存储

;Flume运行模式;大数据存储及管理技术

;大数据处理技术

;可视化技术-echars

;文本挖掘技术;文本挖掘技术;数据挖掘技术;项目拓展;思考与练习