第7讲知识发现与数据挖掘.ppt

合肥工业大学人工智能与数据挖掘研究室 高级人工智能 知识发现与数据挖掘 王浩 知识发现的发展和定义 知识发现的发展和定义 知识发现的发展和定义 知识发现的发展和定义 知识发现的发展和定义 知识发现的发展和定义 知识发现的发展和定义 知识发现的处理过程 知识发现的处理过程 知识发现的处理过程 知识发现的处理过程 数据挖掘概述 数据挖掘概述 数据挖掘概述 数据挖掘概述 数据挖掘概述 数据挖掘概述 数据挖掘概述 数据挖掘概述 知识发现（数据挖掘）的方法 知识发现（数据挖掘）的方法 知识发现（数据挖掘）的方法 知识发现（数据挖掘）的方法 知识发现（数据挖掘）的方法 知识发现（数据挖掘）的方法 知识发现（数据挖掘）的方法 知识发现（数据挖掘）的方法 知识发现（数据挖掘）的方法 数据挖掘的应用 数据挖掘的应用 数据挖掘的应用 数据挖掘技术 数据挖掘技术 数据挖掘技术 数据挖掘技术 数据挖掘技术 数据挖掘技术 数据挖掘技术 数据挖掘技术 数据挖掘技术 数据挖掘技术 数据挖掘技术 数据挖掘技术 数据挖掘技术 数据挖掘技术 数据挖掘技术 数据挖掘技术 数据挖掘技术 数据挖掘技术 数据挖掘技术 数据挖掘技术 数据挖掘技术 数据挖掘技术 数据挖掘技术 数据挖掘技术 Web数据挖掘 Web数据挖掘 Web数据挖掘 Web数据挖掘 Web数据挖掘 Web数据挖掘 Web数据挖掘 Web数据挖掘 Web数据挖掘 大数据与数据挖掘 大数据与数据挖掘 大数据与数据挖掘 3. Web数据挖掘分类 （3）对页面中的文本进行特征描述，特征描述的模型有很多种，向量空间模型（VSM），布尔逻辑模型，概率模型等等。继而对特征向量进行挖掘，对页面中的多媒体信息进行多媒体信息挖掘，具体方法有页面内容摘要、分类、聚类以及关联规则发现等。 3. Web数据挖掘分类 Web结构挖掘 从web结构中发现潜在链接模式的过程。由于文档之间存在着超链接，WWW可以通过这种超链接揭示出文档内容之外的一些有价值的信息。例如指向一个页面的超链接数目就表明了该文档受欢迎的程度，而其包含的超链接数目就表明该文档主题的丰富程度。 结构挖掘的功能是通过分析一个Web页面链接和被链接数量以及链接对象的重要性来建立Web的链接结构模式，并为户提供与请求相关度较大的Web页面，提高搜索引擎的精度和查全率。主要有PageRank和Hub/Authority两种算法。 3. Web数据挖掘分类 Web使用挖掘 通过对用户在访问WWW服务器时留下的访问记录进行挖掘，从而获得有关用户的访问模式。服务器日志包括访问日志、引用日志和代理日志。 访问日志记录了用户的标识、访问时间、方法、请求的页面、协议、服务器状态及传输字节数等； 引用日志记录的是被请求页面的存放位置； 代理日志记录了用户使用的浏览器和操作系统的类型。根据三者的内在关系，可以将它们拼接成完整的日志纪录并以关系表形式保存在数据库中。 3. Web数据挖掘分类 这些信息中隐含着用户对特定内容的需要。Web使用记录挖掘是通过处理服务器日志文件，以发现用户的浏览模式，如序列模式、关联规则、用户聚类和页面聚类等，理解用户的行为，从而实现：（1）寻找用户的兴趣，进行网页预测推荐，为用户提供个性化服务；（2）改进和优化Web站点结构。 　银行 美国银行家协会(ABA)预测数据仓库和数据挖掘技术在美国商业银行的应用增长率是14.9％。 分析客户使用分销渠道的情况和分销渠道的容量 ；建立利润评测模型；客户关系优化；风险控制等 电子商务 网上商品推荐；个性化网页；自适应网站… 生物制药、基因研究 DNA序列查询和匹配；识别基因序列的共发生性 … 电信 欺诈甄别；客户流失… 保险、零售。。。。。。 6.8.5 数据挖掘的应用 Debt10% of Income Debt=0% Good Credit Risks Bad Credit Risks Good Credit Risks Yes Yes Yes NO NO NO Income$40K Open Accn’t Add New Product Decrease Usage ??? Time 序列分析 Sequence Analysis 决策树 Decision Trees 倾向性分析 客户保留 客户生命周期管理 目标市场 价格弹性分析 6.8.5 数据挖掘的应用 Q Q Q Q I I 1 2 3 4 5 6 factor 1 factor 2 factor n 神经网络 Neural Networks 聚类分析 Clustering 客户细分 市