自然语言处理NL 最大概率分词算法.docVIP

NLP基于最大概率的汉语切分 Ytinrete 要求： 基于最大概率的汉语切分 目标：采用最大概率法进行汉语切分。 其中：n-gram用bigram，平滑方法至少用Laplace平滑。 输入：接收一个文本，文本名称为：corpus_for_test.txt 输出：切分结果文本， 其中：切分表示：用一个字节的空格“ ”分隔，如：我们 在 学习 。 每个标点符号都单算一个切分单元。 输出文件名为：学号.txt Bigram参数训练语料：corpus_for_train.txt 注：请严格按此格式输出，以便得到正确评测结果 切分性能评价： 分 切分结果评测 F*100, F=2P*R/(P+R) 特别注意:代码雷同问题 本次作业最后得分会综合考虑：切分性能、代码、文档等几个方面。 第三次作业上交的截止时间：2014 年1月7日24:00 1.关于最大概率分词 基本思想是： 一个待切分的汉字串可能包含多种分词结果，将其中概率最大的作为该字串的分词结果。 根据： 由于语言的规律性，句子中前面出现的词对后面可能出现的词有很强的预示作用。 公式1： 其中 w表示词， s表示待切分字符串。 公式2： 例如： S：有意见分歧 W1: 有/ 意见/ 分歧/ W2: 有意/ 见/ 分歧/ the drawings, first to become familiar with the drawings, mainly about the following aspects: 1) pages of drawings and diagrams, maps; 2) a comprehensive understanding of drawing; 3) finding of design-driven dimensions (), do not resize and adjust the size; 4) questioned the drawings; 5) develop buries a construction programme and technical clarification; 6) clear corners and special treatment; 7) controlled construction drawings to verify construction scheme and design. (2) at the construction site to find subject planted area: various engineering, first on the scene to find planted area, it must first understand the curtain wall installation section, and some projects are all curtain wall, the entire project is a region-wide, only partial walls, the zone is local. (3) identify the axis positioning: positioning the drawings shown in axis compared with the actual construction site to find out exactly where the axis positioning, axis positioning function are: 1) to help determine the origin of curtain walls; 2) acceptance of the installation is accurate; 3) adjust errors, and determine the error range. (4) find anchor points: according to site to find the exact location of the axis, according to the drawings provided by the content determine the positioning point; number of anchor points shall not be less than two points. Repeated measurements determine the location poi