正则文法在数据分析中的应用.docVIP

正则文法在数据分析中的应用 　　摘 要： 以用词严谨、规范性极强的刑事判决书作为文本分析的对象，提取文书中的量刑情节语义。提出了一种异于依存句法分析的方法，该方法将句子抽象成若干元素，把这些元素的组成称之为句型结构。识别语义的过程就是识别结构类型，根据具体的结构类型分别提取其语义。该识别方法中，正则文法起到了关键作用，即采用正则表达式识别元素，使用正则文法定义结构类型。虽然该方法目前只应用在刑事判决书上，但也为类似问题的解决提供了思路。 　　关键词： 数据分析； 正则文法； 正则表达式； 句型 　　中图分类号：TP311 文献标志码：A 文章编号：1006-8228（2015）10-33-03 　　Abstract： Taking the criminal judgment， which is carefully worded and strong normative， as a text analysis object， extracts the sentencing circumstances semantic from it. This paper proposes a method， in which a sentence is abstracted into several elements and the composition of the elements is called sentence structure， it is different from the dependency parsing. The process of recognizing semantics is to identify the structure type， according to the specific type of structure to extract the semantics respectively. In this recognition method， the regular grammar plays a key role that is to use regular expressions to identify elements and use regular grammar to define the structure type. Although this method is only used in the criminal judgment， it also provides a way to solve the similar problem. 　　Key words： data analysis； regular grammar； regular expression； sentential form 　　0 引言 　　随着办公电子化的全面实现，各政府机关单位每年都会产生大量不同类型的电子文件。提供这些文件的内容搜索服务，仅仅是数据信息的基本利用。 　　在这些电子文件中，如果有某类文件用词规范、结构性强，那么在对这类文件进行更深入的信息挖掘与分析后，或许能得到一些有用的结论。 　　1 数据信息与句法分析 　　就数据信息而言，大致分为结构化信息和文本信息。结构化信息一般来自于数据库，信息内容有严格的格式约束[1]；而文本信息根据结构不同，可分为自由文本和半结构化文本。自由文本由于格式随意和内容多样，不易归纳；半结构化文本介于结构化信息和自由文本之间，有一定的格式要求，但因内容不同而又有一定的不确定性。可将有一定格式的文本拆分成语句块后再做句法分析。 　　所谓句法分析，就是识别该句是否为某文法的一个句型[2]。用文法的规则为该句子构造结构单元来加以识别，确认它是否为该文法的一个句型。 　　在句法分析中主要采用两类文法体系：短语结构语法和依存结构语法。短语结构语法采用“短语结构”或“直接成分”作为句法结构分析的对象；依存语法（也称从属关系语法）则采用依存结构作为其句法结构分析的对象[3]，通过分析词素之间的依存关系确定其句法结构。 　　乔姆斯基（Chomsky）分层体系将短语结构语法类型分为四类：0型文法--短语结构文法（PSG）；1型文法--上下文有关文法（CSG）；2型文法--上下文无关文法（CFG）；3型文法--正则文法（RG）。四类文法的关系为RG?CFG?CSG?PSG。 　　2型上下文无关文法在自然语言的句法分析上应用广泛，当把统计方法引入上下文无关语法规则系统[4]后，有效提高了标记精确率和标记召回率。这种引入了统计方法的2型文法被称为概率上下文无关文法（PCFG），著名的斯坦福大学中文文法分析器的移进-规约解析器（Shift-Reduce P