自然语言处理在现实生活中运用概要.doc

自然语言处理在现实生活中运用 1 需求分析与描述： 首先谈下这款软件的来源和用途吧，本科至今没有挂科记录，很不幸第一次《英语学位英语考试GET》挂科了。于是，笔者开始疯狂的做题和背单词，对于GET真题很多单词不认识，抱着有道词典，逐字翻译耗时耗力。再说历来10余年试题考试单词范围是一定的，把出现频率高的单词，所谓核心单词掌握了不就事倍功半了？问题来了，不像四六级词汇或者考研词汇市场有专门卖的。当时就开始设想，如果我收集10余年真题，然后去除所有非单词结构（真题算是结构化数据，有一定规则，比较容易处理。此过程其实就是数据清洗过程）最后把所有单词集中汇总，再去除如：a/an/of/on/frist等停用词（中文文本处理也需要对停用词处理，诸如：的，地，是等）。处理好的单词进行去重和词频统计，最后再利用网络工具对英语翻译。然后根据词频排序。 基于以上思路，结合笔者前不久对数据挖掘中分类实现的经验和暑假学习的统计学知识最终上周末（10.31—11.1）花了2天时间搞定，这些自然语言处理的基础方法在分类，聚类等数据挖掘和本体领域构建中都有使用。最后我将其核心方法进行梳理，下面咱们具体展开。 2 自然语言处理结果预览： 前面提到本算法是对自然语言中常规英文试卷的处理，那么开始收集原始数据吧。 1 历年（2002—2010年）GET考试真题，文档格式不一，包括txt/pdf/wo