《金融智能》6.pptx

Web挖掘WWW知识Web挖掘Web挖掘的概念Web内容挖掘Web结构挖掘Web日志挖掘Web 挖掘的挑战Web数据量太庞大Web数据的复杂性高于传统的文本文档 例：研表究明，汉字的序顺并不定一能影阅响读，比如当你看完这句话后，才发这现里的字全是乱的。Web是一个动态性极强的信息源（eg.签名）Web面对的是一个广泛的用户群体Web上的信息只有很小的一部分是相关的或有用的（eg.名字）Web挖掘概念Web挖掘是从大量Web文档的集合C中发现隐含的、有用的模式P的过程：C→P 。Web挖掘主要处理文本、图形和图像等半结构化的数据，这些数据分布在Web文档、Web服务器的日志、用户cookies等 。Web挖掘分类Web挖掘分类对比 Web挖掘类项目Web内容挖掘Web结构挖掘Web日志挖掘处理数据类型结构数据、半结构数据Web结构数据用户访问Web数据主要数据自由化文本、HTML标记的超文本Web文档内及文档间的超链Serverlog,Proxy serverlog,Client log表示方法词集、段落、概念的三种经典模型图关系表、图处理方法统计、机器学习、自然语言理解机器学习、专有算法统计、机器学习、关联规则主要应用分类、聚类、模式发现页面权重分类聚类模式发现Web站点重建，商业决策Web内容挖掘基于网页内容或其描述中抽取知识的过程。Web内容挖掘主要包括文本挖掘和多媒体挖掘两类，其挖掘对象包括文本、图像、音频、视频和其他各种类型的数据。Web文本挖掘的方法 文本概括：从文本（集）中抽取关键信息，用简洁的形式总结文本（集）的主题内容。例如搜索引擎在向用户返回查询结果时，通常需要给出文本摘要。文本分类 ：把一些被标记的文本作为训练集，找到文本属性和文本类别之间的关系模型，然后利用这种关系模型判断新文本的类别。（财经、体育、社会等）文本聚类：根据文本的不同特征划分为不同的类。文本挖掘在垃圾邮件过滤中的应用Web多媒体挖掘 Web多媒体挖掘是从大量多媒体数据中通过综合分析视听特性和语义，发现隐含的、有价值的和可理解的模式，得出事件的趋向和关联，为用户提供决策支持。 多媒体挖掘包括图像挖掘、视频挖掘和音频挖掘等类别。多媒体挖掘系统的结构Web结构挖掘有用的知识不仅存在于Web页面间的链接结构和Web页面内部结构，而且也存在于URL中的目录路径结构（页面之间的目录结构关系）。Web结构挖掘是指挖掘Web链接结构模式，即通过分析页面链接的数量和对象，从而建立Web的链接结构模式。Web结构挖掘的应用 信息检索 社区识别网站优化（eg.多层文件夹） Web日志挖掘Web日志挖掘是从用户访问日志（包括搜索引擎日志等）中获取有价值的信息，即通过分析Web日志数据，发现访问者存取Web页面的模式。理解用户的行为，改进站点结构，发现潜在用户，为用户提供个性化的服务，增强网站的竞争力。 Web日志挖掘的应用 获取用户访问模式信息，理解用户的意图和行为分析用户的存取模式，为用户提供个性化的服务确定网站的潜在客户群，合理制订网络广告策略等改进Web站点的结构，使网站点随时间、用户需求的变化而不断调整对日志数据进行多种统计，包括频繁访问页、单位时间访问频度、访问量的时间分布等利用关联规则确定相关Web查询（查询修正）谢谢！ 金 融 智 能