搜索引擎日志中N+V+N和V+N+N型短语功能类别识别.docVIP

搜索引擎日志中“N+V+N”和“V+N+N”型短语功能类别识别 郑丽１　吕学强1　施水才1 １(北京信息科技大学中文信息处理研究中心　北京 100101) 采用支持向量机（SVM）方法实现搜索引擎日志中“N+V+N”、“V+N+N”型短语功能类别识别。通过选取不同特征，构建多特征模板，实现对“N+V+N”、“V+N+N”型短语中名词短语、动词短语、主谓短语三种功能短语的自动识别，并且针对不同词性标注集对实验结果是否有影响进行了实验。实验结果显示，SVM在搜索引擎日志短语识别中有很高的识别率。 支持向量机　搜索引擎日志　“N+V+N” 　“V+N+N” 　功能类别 中图分类号 TP3 文献标识码 A The “N+V+N” and “V+N+N” Structure Phrase Function Recognition in Search Engine Query Logs Zheng Li1 Xueqiang LV1 Shuicai Shi1 1(Chinese Information Processing Research Center, Beijing Information Science Technology University, Beijing 100101，China) This paper proposes to use Support Vector Machine (SVM) model to recognize the function category of N + V + N and V + N + N structure phrase in search engine logs. By selecting different features, constructs the multi-feature templates to automatically?recognize?noun?phrases, verb Phrases?and?subject-predicate?phrases?three?kinds?of?function?phrases in the structure of N + V + N and V + N + N and has carried on the experiment to test the different part-of-speech tagging to experimental result’s influence. The experimental result showed that SVM has the very high recognition rate in the search engine diary phrase recognition. Software Support Vector Machine Search Engine Logs “N+V+N” “V+N+N” Function Category  引　言 近几年来，机器学习方法在自然语言处理领域得到广泛的应用,如隐马尔科夫模型[1]（HMM）、最大熵[2]（maximum entry）、条件随机场[3]（CRF）等。这几种方法主要应用在汉语分词、词性标注及组块识别等方面，其识别效果相比基于规则的方法，都有很大的提高，但这几种学习方法仍然存在一定的问题[4]，如在训练数据时，容易出现数据过适应问题，再就是需要采用启发式学习进行特征的提取。 短语分析作为一种预处理手段，可以大大降低短语分析处理的复杂度，为进一步对句子的深层次分词提供基础，使得句子分析在一定程度上得到了简化。在现代汉语中，存在一些特殊语序的短语，如“名词＋动词＋名词”、“动词＋名词＋名词”简写为“N+V+N”、“V+N+N”型短语，它是由名词和动词组合构成的一种短语模式。当前对短语的研究多涉及到“N+V”和“V+N”型短语，对“N+V+N”、“V+N+N”短语的研究较少。前人如邢福义[5] 、金锡馍[6]等对“N+V+N”型短语有所研究，但这些研究只限于对书面用语的统筹研究，没有涉及到具体应用领域，而且在短语功能类别上也只涉及名词性短语的研究。本文主要通过构建短语功能类识别所需特征集，利用机器学习方法，在已识别出的“N+V+N”、“V+N+N”型短语上，标识正确的功能类别。 SVM[7](support vector machine)机器学习方法具有结构风险最小化的归纳原则，同时可以控制整个样本集的期望风险。因此它解决了其他机器学习方法对训练数据产生过适应的缺点，而且引入核函数的概念，在解决线性不可分及高维特征空间稀疏问题上表现出很好的性能。因此在短语功能类别识别实