网络用语词典的构建及问题分析-计算语言学.PDFVIP

网络用语词典的构建及问题分析 1 1 1 2 昝红英 ，许鸿飞 ，张坤丽 ，穗志方 （1.郑州大学信息工程学院，河南省 郑州市 450001；2. 北京大学计算语言学研究所，北京市 100871） 摘要：随着互联网应用的快速发展，网络用语的使用越来越普遍，网络新词层出不穷。网络文本中大量的网络 用语，对基于自然语言处理的情感分析、产品推荐、自助问答系统等应用带来了一定的挑战，而收集并构建网 络用语词典及相关语料则是解决此类问题的突破点。本文以微博语料为出发点，综合多类网络资源，收集并整 理了较为全面的网络用语词典及相关语料。同时，对网络用语词典构建中遇到的问题进行了分析和总结，并对 其潜在应用进行了初步的探讨。 关键词：网络用语；词典构建；标注 中图分类号：TP391 文献标识码：A The Construction of Internet Slang Dictionary and its Analysis 1 1 1 2 Hongying Zan , Hongfei Xu , Kunli Zhang , Zhifang Sui (1.School of Information Engineering, Zhengzhou University, Zhengzhou, Henan 450001, China; 2. Institute of Computational Linguistics, Peking University, Beijing, 100871, China) Abstract: With the rapid development of the Internet, the use of internet slang prevails. New words of this kind keep appearing, which has become a great challenge for natural language processing tasks like sentiment analysis, product recommendation, QA, etc. This problem can be effectively alleviated through the construction of the internet slang dictionary. This paper analyzes the problems we have encountered when collecting and annotating micro-blog texts, together with other internet resources, to build the dictionary and the related corpus. Further, the potential applications of this dictionary and the corpus will be discussed. Key words: Internet Slang; Construction of Dictionary; Annotation 1 引言 [1] 网络用语是互联网上信息传播和交流的一种语言 。伴随着互联网的快速发展，网民产生了 大量的数据，其中文本数据占据了很大的比重，微博、网络媒体、贴吧、博客、论坛等应用产生 的数据尤其惊人。自然语言处理技术在情感分析、产品推荐、自助问答系统等领域得到了广泛应 用，针对网络文本的特征，对应用在网络文本数据中的自然语言处理技术也有相应的调整。网络 [2] 用语有很多与传统用法不同的地方 ，但就目前的认知，还没有人对网络用语进行系统地收录、 总结、整理和标注。词汇语料库作为文本分析及语义理解的数据基础，是信息检索中的查询扩展、 机器翻译中的模块识别等方面不可或缺的资源，在句法分析、词义