第二讲:文本处理章 ppt课件资料讲解.pptVIP

  • 10
  • 0
  • 约9.33千字
  • 约 56页
  • 2018-11-02 发布于天津
  • 举报

第二讲:文本处理章 ppt课件资料讲解.ppt

第二讲:文本处理章 ppt课件资料讲解.ppt

* 三、文档解析 3.1 目的和任务 文档解析的目的 识别文档的内容和结构 并分析和抽取各种文档特征(为文档索引和信息检索服务) 文档解析的任务 通过词素切分、词法分析和语法分析,识别词语、元数据(发布日期、作者)、图、表等特征(形象比喻‘动物解剖’) 通过标记语法分析(识别文档中的标签和元数据),解析文档结构 解析结果:文档的结构和文档的内容表示(用于建索引) 文档解析关注的内容 不仅包括:构成文档内容的词素、词、短语 而且包括:与文档结构相关的重要话题、标记、标题、链接等 # 文档解析的目标? 文档解析关注的内容? 文档解析的具体任务? * 3.2 词素切分 词素切分(智能性) 指从文档中的字符序列中获取词的过程 对于英文相对简单(仍有短语,地名等识别问题),对于中文就非常困难 同时,还需做一些简单处理(大写换小写,忽略无意义字符) 例子:Bigcorp’s 2007 bi-annual report showed profits rose 10%.得到: bgcorp 2007 annual report showed profits rose 注意:这种简单处理有时是不合理的(P.53:大写,-,’,数字,有意义) 词素切分的基本思路 虽然词素切分考虑的因素复杂,但一种基本思路是:二次扫描! 第一遍,先识别文档标记/标签(利用特定解析器,如HTML解析器) 第二遍,对

文档评论(0)

1亿VIP精品文档

相关文档