对中文博客用语的一些调查研究.pdfVIP

第30卷第1期 成宁 学 院学报 V01．30，No．1 垒坠塑圭!：旦 一一一一：：：：：』皇竺塑塑!竺!型里坠堡堡塑堕兰!型堡：：一：：：：：；；；：：一：一：：：』塑；!望!垒一 文章编号：1006-5342【2010)01-0076-03 对中文博客用语的一些调查研究 赵君嚣1，李 晶2 (1．成宁学院计算机科学与技术学院 湖北成宁437100； 2．华中师范大学 计算机科学系 湖北武汉430079) 摘要：对日渐兴盛蓬勃的中文博客进行用语调查，在汉语言的发展、演变及趋势研究中具有重大意义。本文采 用自动化手段，从几个中文最流行的博客网站上爬取结构化汉语语料，并从博客用字、博客用词、博客中男女用词 的异同等方面对这些语料进行统计、分析。统计数据真实的反映了汉语言在博客上的使用状况，并为汉语言的网 络发展研究提供了一定的依据。 关键词：博客；爬虫；媒体；语料 中图分类号：H136 文献标识码：A 一、引育 不同的博客网站具有不同的页面特征，例如我们需要 博客的诞生，无疑是互联网发展历史上具有重大意义 统计的博客属性之一“作者性别”，在不同的博客页面上的 的事件之一，它创造了一种新的以个人为中心的传播出版 表示方式都不尽相同。所以我们针对不同的博客网站都必 方式，博客成为继电子邮件，论坛和即时聊天之后的第四种 须定义不同的视图一模板映射规则；其中视图就是网站呈 网络交流方式。与其他网络应用相比，博客更具深度沟通 现给用户的页面内容，而模板，则是我们的调查所关心的博 和民主化的潜质，能为主流媒体提供新闻和公众观点来源， 客文章及博客作者的属性集合。对于不同的博客网站都有 为教育业和商业创造知识共享的环境，同时能为个人提供 不同的视图一模板映射关系，依靠这样的关系，我们就可以 一个自我表达和自我价值实现的平台。 把不同博客网站上的所有作者及文章都归一化为同一存储 与传统的新闻媒体出版方式不同的是，博客的内容是 格式，从而方便于我们的统计。表1和表2给出我们需要 由许许多多的普通网民所创作，因此博客能更加真实地反 提取的博客作者及博客文章的属性集合： 映普通大众的语言使用状况。近年来，博客用户规模持续 快速发展。截至2009年6月底，用户规模已经达到1．8l 表1博客作者格式 亿人，博客空间超过3亿。 所以我们认为广大博客中使用的语言的使用情况代表 了中国社会中最活跃的一个群体的语言特点。因此对博客 的用语进行调查和统计，在社会语言发展趋势的研究中具 有重大意义。为了调查博客语言使用状况，我们采用网络 爬虫技术对一些知名博客网站进行语料搜集工作，同时对 标题网址正文发表时间类别评论链接 这些语料在用字和用词的角度进行统计和分析。 二、博客语料搜集 (三)博客爬取模型 (一)语料说明 我们首先构造一个线程池，池内开启7个爬行线程，分 我们的主要调查对象为主流中文博客网站。根据网络 别下载我们要搜集的7个博客网站。而每个爬行线程都从 访问量、网站规模等因素，我们选择了spaces．1ive．eom，