Web文本挖掘就是从Web文档和Web活动中发现、抽取感兴趣的、潜在有用的模式和隐藏的信息的过程[23]。 Web文本挖掘与普通的平面文本挖掘既有类似之处,又有其自身的特点。 例如, 通信网中的短信、互联网中即时聊天工具和聊天室产生的聊天记录等文本具有每条记录包含字符少,而文本数量巨大的特点;BBS、Weblog等形式的网页越来越多地出现了带有个人情感色彩的文章、言论,这些由用户产生的文本包含大量不规范用语、网络流行语等。这些特点对传统文本挖掘的方法提出了新的任务和挑战。 * Web文本挖掘过程一般包括文本预处理、特征提取及缩维、学习与知识模式的提取、知识模式评价4个阶段。 文本预处理是文本挖掘的第一个步骤,其工作量约占整个挖掘过程的80%左右,其后几个阶段均有成熟的产品和软件系统。因此,文本预处理阶段对于文本挖掘效果的影响至关重要。 文本挖掘不但要处理大量的结构化和非结构化的文档数据,还要处理其中复杂的语义关系,因此现有的数据挖掘技术无法直接应用于其上。对于非结构化问题,一条途径是发展全新的数据挖掘算法直接对非结构化数据进行挖掘,由于数据非常复杂,导致这种算法的复杂度很高;另一条途径就是将非结构化问题结构化,利用现有的数据挖掘技术进行挖掘,目前的文本挖掘一般采用该方法进行。对于语义关系,则需要集成计算语言学和自然语言处理等成果进行分析。 * 过量信息同时呈现使得用户无法从中
您可能关注的文档
最近下载
- 数理逻辑与集合论(第2版)石纯一数理逻辑和集合论复习提纲2021.pptx VIP
- 中国成人糖尿病肾脏疾病医学营养治疗专家共识解读PPT课件.pptx VIP
- 石油化工氮氧系统设计规范 SH/T 3106-2019.pdf VIP
- Yamaha雅马哈乐器音响音响YDP162-142用户手册.pdf
- 2025年人教版高中二年级生态系统能量流动规律专题试卷及解析.docx VIP
- 2025年金融风险管理师瑞郎黑市事件与外汇风险专题试卷及解析.pdf VIP
- 2025年无人机驾驶员执照通信设备与信号传输专题试卷及解析.docx VIP
- 2025年拍卖师拍卖活动中的财务信息披露与保密义务专题试卷及解析.pdf VIP
- 2025年房地产经纪人独家代理协议综合情景模拟与决策能力测试专题试卷及解析.pdf VIP
- GB55031-2022 民用建筑通用规范.pdf VIP
原创力文档

文档评论(0)