大数据建模与挖掘技术.pptxVIP

**大数据建模与挖掘技术

课程内容**概述1大规模文件系统和Mapreduce2相似项发现3数据流挖掘4链接分析5频繁项集6聚类7Web广告8推荐系统9

教材**/~ullman/mmds/book.pdf01大数据-互联网大规模数据挖掘与分布式处理02

第一章数据挖掘的基本概念**1·1数据挖掘的定义011.2数据挖掘的统计限制021·3相关知识03

数据挖掘是数据模型的发现过程。01什么是模型？统什模型:02研究可见数据遵从的总体概率分布。如已有一系列数据，先猜想服从高斯分布，从数据获取模型参数，验证与数据分布是附合机器学习。03将数据当作某类算法的训练集训练算法。然后再用这个算法分析未知的数据04数据挖掘的定义

什么是模型？**机器学习的长处。当对要在数据中寻找的目标一无所知的时候。如不知道是哪些因素影响人们对影片的喜好。netflix竞赛。如目标能明确描述，机器学习方法并不成功。如在web上寻找个人简历。机器学习方法.不如关键词或者短语更准确,

建模的计算方法**数据挖掘已被看成是一个算法问题。数据模型就是提供复杂查询的答案。除了统计建模，其它大部分建模方法可分为如下两类对数据进行简要汇总从数据中抽取最突出的特征来代替数据并将剩余内容忽略。

数据汇总**No.1pagerank。谷歌成功的关键算法之一。Web的复杂结构可以由每个页面的pagerank描述，反映了一