大数据技术概述.pptx

大数据技术概述;;大数据;大数据时代的背景;大数据的产生;大数据的4V特征;;大数据技术： 统计分析：A/B test; top N排行榜；地域占比等 数据挖掘：聚类；分类；关联规则；预测模型 机器学习：神经网络，支持向量机； 文本挖掘：自然语言处理技术，文本情感分析 解决方案： 数据采集：日志、爬虫；ETL工具，kettle等 数据存储：HDFS, HBASE, Hive, MongoDB等 数据读取：SQL；NoSQL等 数据计算：并行计算：MapReduce技术 流计算：twitter的storm等 内存计算：Spark等 结果展现：标签云；关系图等 基础架构支持：分布式文件系统等（云存储）;大数据应用;大数据与云计算;大数据赋予我们洞察未来的能力;挑战;心得;心得;;大数据平台架构;;统计指标 Userid+激活时间+itemid+item所属类别（可分多级） Userid+使用时间+itemid+item所属类别（可分多级） ;产出 统计新、老用户及所占比例，时间粒度包括年、季、月、周、日 。 ;;统计指标 Userid+使用时间+itemid+item所属类别（可分多级:频道、栏目、页面、模块） 产出——用户忠诚度分析模型 ;统计指标 Userid+消费时间+消费金额+itemid+item类别 产出——用户价值生命周期 ;统计指标 1、Userid+消费时间+消费金额+itemid+item类别 2、Userid+使用时间+itemid+item所属类别 产出——用户质量评价模型 ;;数据挖掘时代背景;什么是数据挖掘？;数据挖掘的基本步骤;数据挖掘涉及的技术;数据挖掘的功能类型;关联规则（Association）;挖掘顺序发生的事件中的模式 给定序列数据库和最小支持度阈值，序列模式挖掘就是要找出序列数据库中所有的序列模式 ;序列模式挖掘;聚类（Clustering）;Page35;Page36;;分类(classification);Page39;Page40;常用分类算法;;数据库中可能包含一些数据对象，它们与数据的一般行为或模型很不一致，这些对象称作孤立点 孤立点包括很多潜在的知识，如分类中的反常实例、不满足规则的特例、观测结果与模型预测值的偏差、量值随时间的变化等 ;搜索引擎 舆情系统 文本推荐 微博新闻线索发现 用户评论分析 ……;Page46;;用户行为路径 用户搜索网络 ……