大数据技术与应用（第2版）课件：数据采集与清洗.pptx

数据采集与清洗;数据采集具有悠久的历史，在远古时期，人们便学会了在绳子上打结，进行数字的记录。到了19世纪，1887年，美国统计学家霍尔曼·霍尔瑞斯发明了一台电动机器，它能够读取卡片上的洞数，使用这台设备，美国仅用了一年时间，就完成了原本需要8年才能完成的人口普查工作。;人工采集方法是一种非常传统的数据采集方法，其中最古老的就是普查，它至今已有数千年的历史。据记载2200多年前的西汉时期，中国就开展了第1次人口普查，这也是早期人工数据采集的典范。;1895年，学术界提出了抽样调查方法，并且在后来的30多年进行完善，使得这个调查方法成为一种更及时、更经济的数据采集方法，被广泛应用在经济、社会和科学研究领域。直到今天，它仍然是一种特别有效的方法。;进入20世纪，数据采集的重要性更加得到重视。例如在1934年到1937年间，美国总统罗斯福就开展了一项数据收集的计划，他整理了美国2600万个员工和300万个雇主的记录，有了这些数据，就可以很好的开展社会保障法的系列工作。;到了21世纪，数据采集得到了进一步的发展。2009年印度政府建立了印度唯一的身份识别管理部门，它对12亿印度人进行了指纹、照片和虹膜等个人特征信息的采集，并且为每一个印度人分配了12位数字ID号码，将这些身份数据汇集到世界上最大的生物识别数据库中，这也是当