BBS中文新词语自动挖掘.pdf

第二十届全国计算机信息管理学术研讨会 BBS中文新词语自动挖掘 北京信息科技大学中文信息处理研究中心吕学强黄河李渝勤施水才 (北京信息科技大学中文信息处理研究中心，北京，100101) 【摘要】本文提出了一种自动挖掘中文新词语的方法。首先把从BBS上采集的网页进行解析和文 本分词。通过分析统计建立起词语碎片和词语组块的集合，从中自动挖掘候选新词语。而后再根据 构词规则对自动挖掘的结果进一步过滤，最终抽取出采集语料中存在的新词语。根据该方法开发的 系统，可以寻找不限长度、不限领域、不限类别的与上下文无关的任意新词语，较人工查找新词语 大大减轻了负担并提高了效率。 【关键词】中文新词语，自动挖掘，统计，规则 ofChineseNewWordinBBS Auto--Mining LU He，Li ShiShuicai Xueqiang，HuangYuqin， InformationResearchCenter， Information (Chinese Processing Beijing 1 10 00 University，Beijing， 1) [Abstract]Amethodis for Chinesenewwords inthis presentedmining automaticallypaper．After the texts from word andchunksetisbuilt and BBS，a segmentingwebpagegrabbed fragment byanalyzing whichnewwordcandidatesareminedfrom rules．Atlastnewwordswhichexist smtisfics， andfiltered by inthe areextracted．The inthis Callfmdrandomcontext-insensitivenew webpages systemdevelopedway wordsin andin field，of kind．Itreducedhumanlaborandalso the length efficiency any any any improved alotin practice． newword， rule statistics， [Keywords]Chineseauto．mining， 1引言 1．1研究现状 随着经济、社会的飞速发展和对外交流的日渐频繁，特别是随着计算机和Internet的普及，新词 语产生的现象日益显著。新词语的产生引起语言学者的特别关注，白20世纪80年代以来，学者们 对汉语新词语进行了较多的研究，这种研究呈现出了多方位，多角度，多层次和立体化的趋势¨1。主 要包括：新词语的界定，新词语的产生与社会、文化的关系，新