大数据时代 第三章.doc

第·节大数据的采集技术大数据采集技术是进行数据存储，预处理和挖掘的基础，传统的数据采集技术主要包括普查，抽样调查和统计报表等；随着网络的发展，网络数据已经成为大数据的重要来源，网络数据的采集技术主要有网络爬虫A門接口和传感器等普查普查是为了某种特定的目的而专门组织的―次性的全面调查，它可以调查―定时点上的社会经济现象的总量，吧以调查某些时期现象的总量，甚至调查一些并非总量的指标，普查―般，涉及面广、指标多、工作量我们的大数据大、时间性强。为了取得准确的调查资料，普查对集中领导和统一行动有很高的要求。普查的方式有两种．一种是建立专门的普查机构，聘请或者雇佣专业的普查人员进行实地调查，另一种是调查有关单位的原始记录和材料，根据原始记录归纳整理出要了解的数据。无论采用哪种方式，普查通常是周期性的或者是一次性的，往往有统一的时间点。例如，人口普查使用统表格、统一方法，在规定的时间对全国人口进行普遍调查登记。普查的优点在于数据严谨，资料全面，可以根据不同需求了解到调对象的全部情况，准确度高，而且确定对象比较简单。而普查最显著的查缺和点在于普查的普遍性会导致工作量较大，导致调查内容有限、产生重复遗漏的现象。二、抽样调查抽样调查部分对象进行调查并据此对全部调查对象做出估计和推断的一种调查赞：抽样调查虽然是非全面调查，但它的目的却在于取得反映总体情况的信息资料抽样调查的样本抽取。·）抽样调查的样本