文本挖掘核心技术讲解及其应用.pptx

文本挖掘核心技术及其应用 目录文本挖掘步骤文本挖掘功能文本挖掘应用特征的建立特征集的缩减学习与知识模式的提取模式质量的评价知识模式文档集文本挖掘步骤文本挖掘的一般处理过程文本挖掘步骤预处理特征表示特征提取文本源分词过滤特征特征约减原始数据过滤虚词计算权值权值调整合并词根合并特征模式提取文本挖掘结果展示关联规则关联分析展示界面分类模式文本分类聚类模式文本聚类文本挖掘主要功能及应用文本挖掘实现功能应用文档归类自动分词自动分类舆情监控垃圾邮件过滤自动聚类信息抽取企业竞争情报系统文本相似性检索电子商务自动摘要客户自动问答 目录文本挖掘步骤文本挖掘功能文本挖掘应用自动分词自动分类时政国际评论军事文化社会历史莫言对话杨振宁：来生学物理，当下梦飞天信息抽取信息抽取是从文本中抽取指定的一类信息（事件、事实）并将其形成结构化的数据，填入一个数据库中以供用户查询使用。会议时间1998年3月9日会议地点北京会议召集者/主持人个人姓名/团体名称Name蒋正华机构、职位Org/Post主席，农工民主党中央会议名称/标题中国农工民主党第十二届中央常务委员会第一次会议信息抽取文本相似性检索文本相似性检索式对一篇文档到索引库中查找与其内容重复率高的文档和相似的文档。目前应用最广的是论文查重。自动摘要对文章中的所有句子进行权值运算，对所有的句子按权值排列，提取出权值大的作为关键句，进而形成摘要。目录文本挖掘步骤文本挖掘功能文本挖掘应用应用——文档自动归类预处理特征表示特征提取文本源分词过滤特征特征约减原始数据过滤虚词计算权值权值调整合并词根合并特征模式提取文本挖掘结果展示展示界面分类模式文本分类应用——文档自动归类应用——垃圾邮件过滤商家利用电子邮件传播大量广告垃圾邮件持续攀升逐一查看邮件浪费时间面临的问题对垃圾邮件进行过滤对邮件进行归类邮件自动回复关键需求应用——网络舆情监控互联网的普及，网络舆论热点层出不穷；民意表达向网络倾斜；网络舆论一旦被错误控制和引导，影响社会稳定；面临的挑战舆情信息的采集与提取话题发现与追踪网络舆情倾向性分析关键需求应用——网络舆情监控论坛博客难点新闻采集和提取引擎垂直页面应用——网络舆情监控热点分析?所采集的网络范围内重复程度最高的话题应用——网络舆情监控网络舆情摘要? 提取出几条最重要的新闻，自动生成摘要，生成简报。应用——网络舆情监控倾向性分析自动聚合网络新闻并自动进行褒贬倾向性的分析。 对文章的观点进行倾向性分析和统计，识别正负面信息。应用——网络舆情监控通过对网络信息中的犯罪信息量的分析计算来反映网民的安全感，并进行分级；通过对政府工作相关语料的褒贬分析计算来描述公众对政府工作的满意程度，并进行分级。应用——企业竞争情报系统企业情报采集效率低和实时性差信息孤岛，缺少跨部门情报资源共享情报内容存在重复性，资源没有得到有效整合面临的问题自动化收集商业信息对情报内容进行统一管理根据情报内容，确定潜在威胁，及时预警，并制定相应策略关键需求应用——企业竞争情报系统伊利作为中国乳业巨头之一，面临多方竞争，必须密切关注对手动态，其最大的竞争对手是蒙牛，因此，蒙牛公司的动态对伊利公司有很大的影响。采集2010年6月至11月蒙牛官网的信息，对其进行分析。6月词频量7月词频量8月词频量9月词频量10月词频量11月词频量合作869107104君乐增词频警报6月词频量7月词频量8月词频量9月词频量10月词频量11月词频量奶源9717222958递增词频警报应用——企业竞争情报系统警情：蒙牛整合君乐宝，实现战略合作警情分析：整合事件极大程度转变蒙牛低温市场地位，并提升蒙牛竞争力，对伊利构成极大威胁；提升蒙牛在华北地位，威胁伊利华北市场战略地位；极大提升蒙牛奶源优势，对伊利在奶源的竞争造成威胁。发现共线词关系：君乐宝—低温；华北；蒙牛—奶源，奶源—君乐宝应用——电子商务网站数据激增，且有大量的非结构化数据如何从大量数据中发现有价值的客户挖掘其内在规律面临的问题分析商品之间的内在关联发现有价值客户对用户行为进行预测关键需求应用——电子商务网站网站产品评论挖掘：IT168网站是中国指导IT产品采购的知名媒体品牌，是国内最大、最权威的导购咨询网站之一。从IT168网站下载三种产品的评论，分别是：诺基亚5320XM的206篇评论、诺基亚5800XM的205篇评论和富士S5205EXR的72篇评论。如，以下是诺基亚5320XM的一篇评论：分：褒、中、贬强度：良好、优秀步骤：特征识别语义极性分析分类和结果评价预处理文本源特征词提取分词分类极性词识别和强度确定原始数据词性标注结果评价特征标注句子极性分析去除停用词如功能、价格、屏幕等程度副词和极性词应用——电子商务网站挖掘结果及分析：数字代表特征的极性平均值帮助消费者作出购买决策；给商家提供客