基于移动通信数据的流动人口规模测度与统计制度.PDF

基于移动通信数据的流动人口规模测度与 统计制度建设研究 国家统计局山西调查总队 韩建华、韩重远、富军鹏 摘 要 改革开放以来，我国流动人口不断增加，主要表现为农业人口向工业和服务 业的流动、农村人口向城市的流动、低收入地区向高收入地区的流动以及新增就 业流动。鉴于流动人口的构成成分复杂、流动周期不确定、流动轨迹多变等原因， 我国现有的流动人口统计制度无法得到分年度的流动人口规模、特征及发展规律 的统计数据，不能满足政府和社会的需求，统计方法和制度亟待改进。 本文基于移动通信运营商的即时通信数据记录，以大数据基本统计思想为基 点，利用数据挖掘技术找出流动人口在移动个人通信行为中的特征和规律，构建 了移动通信流动人口识别模型。主要研究内容包括对移动通信数据的预处理；概 述了移动通信数据的特征；对流动人口通信行为特征进行了分析，找出分辨流动 人口的关键变量；利用训练集和测试集对多种数据挖掘方式进行了比较，遴选出 适宜的数据挖掘分类算法；最终选用人工神经网络构建流动人口识别模型，并对 模型的结果进行了解读，对模型的不足提出了改进的方向。 本文希望在移动通信大数据的基础上，对改进我国流动人口统计探索一个基 于大数据思想的统计方法和制度，利用同期的运营商数据和其他行政记录，利用 科学的统计推断方法，对流动人口的规模和特征进行估计和外推，从而得到更加 精确和完整的人口统计数据。本文所设计的方法和制度成本低、速度快、精度高， 适合对国内现行人口统计制度进行适度的改进和拓展。 关键词：流动人口统计大数据数据挖掘 统计制度建设 I 目录 一、问题的提出 1 （一）流动人口统计现状 1 （二）选题意义及背景 1 二、文献综述2 （一）数据挖掘分类算法综述2 （二）国外研究现状3 （三）国内研究现状3 三、数据来源及描述4 （一）数据说明4 （二）本文对流动人口的定义4 （三）数据清洗5 （四）描述统计5 四、变量的构造9 （一）数据挖掘流程9 （二）关于身份证信息9 （三）移动通信用户通话特征分析 10 （四）变量列表 11 五、模型构建 12 （一）训练集的构建和变量的选取 12 （二）模型的选择 13 （三）人工神经网络预测结果分析 15 六、不足、展望与建议 17 （一）本文的不足 17 （二）流动人口统计展望 17 （三）对流动人口统计制度的改进建议 18 参考文献 19 附录1：原始数据表示例错误！未定义书签。 附录2：本文所用R 程序错误！未定义书签。 II III 一、问题的提出 （一）流动人口统计现状 上世纪八十年代以来，随着改革开放的不断深入和经济结构的调整，我国流 动人口规模不断扩大，且呈现加速增长趋势。国家统计局人口普查资料显示，1982 年，我国流动人口为657 万人，仅占全国总人口的0.66%；1990 年，流动人口为 2135 万人，占到全国总人口的1.87%；2000 年，流动人口首次过亿，达到 1.03 亿人，占全国总人口的7.90%；到2010 年流动人口达到2.21 亿人，占到了全国 总人口的 16.53%。然而在我国目前的人口统计中，对流动人口统计只在末尾逢 ‘0’年份的人口普查和末尾逢 ‘5’年份的 1%人口抽样调查时进行，其他年份 的流动人口统计数据处于缺失状态。以近10 年的数据为例，2005 年我国流动人 口为14735 万人，到2010 年达到22143 万人，5 年间增长了50.3%，流动人口规 模和结构也发生了很大变化。相对于快速扩大的人口流动规模，我国目前的流动 人口统计明显滞后，已不能满足各级政府和社会各界对流动人口数据的需求，流 动人口统