模式识别和大数据.docxVIP

学科分类号（二级）本科学生毕业论文　题　　目基于模式识别理论的大数　　　　　　　　　据集的数据质量分析姓　　名　　　　　张洪光　　　学　　号　　　　　114090428　　院、　系　　　物电学院电子系　专　　业　　电子信息科学　　　指导教师　何文学　　　　职称（学历）教授基于模式识别理论的大数据集的数据质量分析摘要：随着互联网、移动互联网和物联网的发展，我们已经切实地迎来了一个海量数据的时代，分析调研机构IDC发布了新的数字宇宙研究报告(Digital Universe Study)——《从混沌中提取价值》(Extracting Value from Chaos)。这一报告显示，全球信息总量每过两年，就会增长一倍。2011年，全球被创建和被复制的数据总量为1.8ZB。相较去年同期，这一数据上涨了超过1ZB，这相当于全球每个人每天都去做2.15亿次高分辨率的核磁共振检查所产生的数据总量。因此，数据增长态势下，如何对海量数据进行管理及分析已经成为一个非常重要且紧迫的需求。而数据质量是数据分析结论有效性和准确性的基础，也是最重要的前提和保障。数据质量保证是数据仓库架构中的重要环节，在当今网络化的数据时代，数据质量成为理论研究和实际应用的热点问题。模式识别是20世纪60年代以来在信号处理、人工智能、控制论、计算机技术等学科基础上发展起来的新型学科，以其速度快，准确性高，效率高等显著特点对大数据处理方面有其特殊的优势。关键词：模式识别；大数据 ；数据质量分析大数据（Big Data）是继云计算、物联网之后IT产业又一次颠覆性技术变革。对国家治理模式、企业的决策、组织和业务流程、个人生活方式都将产生巨大的影响。一、大数据的意义（一）大数据的国家战略意义信息时代的海量数据，是支撑国家安全与发展的重要战略资源。谁占据信息技术优势，谁就会最大限度地存储、挖掘和使用“海量数据”，牢牢掌握“海量数据”开发利用的主动权。有人形象地称之为“数据主权”。　对于大数据在中国的作用，体现为四个方面：一是通过实施“循数管理”，可提高决策能力。比如，通过分析春节期间移动用户漫游情况，掌握人口的流动规模与迁徙规律，可以为交通管理、铁路运输、公共安全管理等提供决策参考。二是基于大数据应用，逐步开放公共数据，打造透明政府，提高政府公信力。可率先效仿国际上做法，建立中央政府层面的公共数据服务平台，建立相关规范和制度，推动各个行业、各大企业在公共服务领域数据的开放。三是基于大数据分析，监控重大社会事件，构建科学预警监控体系，更好地服务民生。利用遍布政府和社会各领域的数据，在医疗健康、食品卫生、道路交通、地质灾害、社会舆情、信息安全、国土安全等各领域进行智能分析研究，可以有效实现对于重大安全、危机、风险的防范和预警。四是各个行业都需要强化大数据意识，通过数据来提高效率、提升精细化和智能化水平，才能推动从中国制造走向中国创造，创造更大的价值。（二）大数据对企业的导向作用信息时代的到来，网民与消费者界限正在消弭，企业的疆界变得模糊，传统企业和互联网企业竞争矛盾加剧，数据成为核心的资本并将深刻影响企业的商业模式，甚至重组其文化和组织。大数据对企业的作用表现在以下四个方面。第一，大数据时代将给网络广告市场的发展带来质的飞跃。大数据时代，众多互联网企业产生了规模庞杂的用户数据，既包括性别、年龄、地域、学历、职业等基本属性，也包括爱好、上网行为轨迹、购物行为习惯、用户间的关联度等深层次的属性。大数据的价值在于为广告主和代理公司更高效、更准确地锁定目标受众打下了坚实的基础。第二，互联网企业对海量数据的深入挖掘，有助于加深其对于用户行为、爱好等方面的了解，为用户打造个性化的服务，并针对产品及服务进行优化。第三，互联网企业通过对大量数据的分析研究，可以实现对市场新需求的及时把握，带来产品、服务乃至商业模式的创新。第四，面对大数据的浪潮，对于互联网企业而言最为关键的挑战是实现对海量数据的实时监测，并依据监测结果进行实时决策。（三）大数据对个人的影响国家对大数据的重视，使得每个人对社会的需求得到了回应，个人对的衣、食、住、行等方面的要求有了及时的响应；企业在大数据时代迎来的挑战和重大转型也影响着个人学习和生活的方向；同时，大众作为国民，也做为消费者的角色也能在国家和企业的发展方向上起着决定性的作用。二、大数据引发的变革（一）大数据内涵（1）大数据的四个主要特征大数据的4个典型的特征，即所谓的4个“V”,多样性（variety）,体量（volume）,速度（velocity）,价值（value）。多样性是指，数据类型多，应包含结构性和非结构性的数据，体量是指聚合在一起供分析的数据量必须是非常庞大的，而速度则是指数据处理的速度必须很快，价值体现在价值密度低，商业价值高。图1：大数据的四个特征（2）大