大数据技术概述及公安应用.docxVIP

目录 TOC \o 1-5 \h \z \o Current Document 目录 1 \o Current Document 前言?大数据时代背景 1 \o Current Document 大数据概念 2 \o Current Document 大数据技术概要 3 一、分布式系统基础架构Hadoop 3 1、 HDFS 3 2、 NameNode 4 3、 DAT ANODE 5 4、 Jobtracker 5 5、 TaskTracker 5 —、编程模式 MapReduce 5 1、 MapReduce的执行概况 6 2、 血pReduce的执行流程 7 \o Current Document 大数据与公安信息化建设 7 \o Current Document 大数据应用存在的难题 8 \o Current Document 大数据时代警务工作的挑战与应对 9 1、 思维观念未能同步 9 2、 基础数据相对薄弱 9 3、 数据管理有待提高 10 4、 数据应用存在差距 10 前言?大数据时代背景 近儿年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统 的规模迅速扩大，行业应用所产生的数据呈爆炸性增长。动辄达到数百TB甚至 数十至数百PB规模的行业/企业大数据己远远超出了现有传统的计算技术和信 息系统的处理能力，因此，寻求有效的大数据处理技术、方法和手段己经成为 现实世界的迫切需求。百度目前的总数据量已超过1000PB,每天需要处理的网 页数据达到10PB?100PB；淘宝累计的交易数据量高达100PB； Twitter每天发 布超过2亿条消息，新浪微傅每天发帖量达到8000万条；中国移动一个省的电 话通联记录数据每丿J可达0.5PB?1PB； —个省会城市公安局道路车辆监控数据 三年可达200亿条、总量120TBo据世界权威IT信息咨询分析公司IDC研究报 告预测：全世界数据量未来10年将从2009年的0. 8ZB增K到2020年的 35ZB(1ZB二 1000EB二 1000000PB), 10 年将增长 44 倍，年均增长 40%。 早几年人们把大规模数据称为“海量数据”，但实际上，大数据（Big Data） 这个概念早在2008年就已被捉岀。2008年，在Google成立10周年Z际，著名 的《自然》朵志出版了一期专刊，专门讨论未来的大数据处理相关的一系列技术 问题和挑战，其中就提出了 “Big Data”的概念。 随着大数据概念的普及，人们常常会问，多大的数据才叫大数据？其实， 关于大数据，难以有一个非常定量的定义。维基百科给出了一个定性的描述： 大数据是指无法使用传统和常用的软件技术和工具在一定时间内完成获取、管 理和处理的数据集。进一步，当今“大数据” 一词的重点其实已经不仅在于数 据规模的定义，它更代表着信息技术发展进入了一个新的时代，代表着爆炸性 的数据信息给传统的计算技术和信息技术带来的技术挑战和困难，代表着大数 据处理所需的新的技术和方法，也代表着大数据分析和应用所带来的新发明、 新服务和新的发展机遇。 大数据概念 “大数据”是需要新处理模式才能具冇更强的决策力、洞察发现力和流程优 化能力的海量、高增长率和多样化的信息资产。从某种程度上说，大数据是数据 分析的前沿技术。简言Z,从齐种各样类型的数据小，快速获得有价值信息的能 力，就是大数据技术。大数据技术的战略意义不在于掌握庞大的数据信息，而在 丁对这些含冇意义的数据进行专业化处理。换句话来说，如果把大数据比作一种 产业，那么这种产业实现盈利的关键，在于提高对数据的“加工能力”，通过“加 工”实现数据的“增值”。 大数据分析相比于传统的数据仓库应用，具冇数据量大、查询分析复杂等特 点。大数据的4个“V” ,或者说特点有四个层而：第一，数据体量巨大。从TB 级别，跃升到PB级别；第二，数据类型繁多。前文捉到的网络H志、视频、图 片、地理位置信息等等。第三，处理速度快，1秒定律，可从各种类型的数据屮 快速获得高价值的信息，这一点也是和传统的数据挖掘技术有着本质的不同。第 四，只要合理利用数据并对其进行正确、准确的分析，将会带来很高的价值回报。 业界将其归纳为4个“V” ——Volume （数据体量大）.Variety （数据类型繁多）、 Velocity （处理速度快）、Value （价值密度低）。大数据最核心的价值就是在于 对丁海量数据进行存储和分析。比起现有的其他技术而言，大数据的“廉价、迅 速、优化”这三方而的综合成本是最优的。 大数据技术概要 一、分布式系统基础架构Hadoop Hadoop是一?个由Apache基金会所开发的分布式系统基础架构。用户可以在 不了解分布式底层细节的情况下，开发分布式程序。充