大数据在政府部门应用.docVIP

大数据在政府部门应用 　　摘 要：大数据是从各种各样来源中搜集得到的海量数据信息的总称。从大数据的数据结构看，大约90%的数据是非结构化的，同时也也面临复杂性、安全和隐私风险等新挑战。文章分析了企业的大数据应用，也提出了国家和政府部门未来建设大数据战略应用项目的建议。 　　关键词：大数据； 政府部门； 企业；数据结构 　　政府使用大数据是为了提升和改善公共服务，这与企业利用其追求利润异曲同工。 　　大数据是从各种各样来源中搜集得到的海量数据信息的总称。对于传统的关系型数据分析技术来说，其数据量太大，未经处理，同时也是非结构化的。据统计，现在每天产生2.5艾字节（quintillion bytes）的数据信息，全球将近90%的数据是过去两年创造出来的。 　　此外，从大数据的数据结构看，大约90%的数据是非结构化的。来源于网络和云的海量数据，为发现、创造价值，以及丰富商业智能支撑机构决策提供了新的机遇。不过，大数据也面临复杂性、安全和隐私风险等新挑战。同时，对于新技术和人类技能的开发来说，大数据是一种需要。 　　大数据重新定义了数据管理的范围，由数据提取、转换、加载，或称为ETL（Extraction-Transformation-Loading），演变为在大数据应用中净化和组织非结构化数据的新技术（如分布式架构技术）。 　　尽管企业部门正引导大数据应用的发展，公共部门也开始对迅速增长的大数据具有洞察力，为实时决策提供帮助和支持。 　　大数据有多个来源，包括互联网、生物和产业部门、视频、电子邮件和社交媒体。许多白皮书、期刊论文和商业报告已经提出了政府利用大数据，帮助其服务公众和应对传统挑战（如医疗成本上升、创造就业、自然灾害和恐怖主义等）的路径。 　　也有一些观点，就大数据是否真能改进政府运作效率提出质疑，因为政府必须发展新的能力，并采用新技术（比如分布式和非结构化查询语言），通过数据组织和分析，将大数据转变为有用的信息。 　　本文就政府是否能与企业一样，将大数据应用于公共服务部门进行了研究。我们首先比较了政府和企业在目标、任务、决策制定过程、决策者、组织架构和战略的差异，接着考察了部分技术领先的国家当前大数据应用的状况，这些国家包括澳大利亚、日本、新加坡、韩国、英国和美国等。 　　本文也分析了一些企业的大数据应用，这些技术也能应用在政府事务中。最后，我们提出了国家和政府部门未来建设大数据战略应用项目的建议。 　　1文章主要观点 　　企业、政府和研究机构都能够从他们搜集的海量大数据中获取价值； 　　大数据应用领先的国家已实施大数据应用项目，以提高国家运行效率、透明度、民众福利和公共事务参与度，确保经济增长和国家安全； 　　分析政府部门采用的大数据应用项目，为其他国家提供未来大数据行动的引导。 　　2企业和政府的大数据应用比较 　　虽然企业和政府的主要任务并不冲突，但各自的举措具有不同的目标和价值。企业的主要目标是通过提供产品和服务获取利润，发展或维持自身的竞争优势，创造令消费者和其他利益相关者满意的价值。政府的主要目标则是维持国内稳定，实现可持续发展，确保公民的基本权利，改善国民福利和促进经济增长。 　　在竞争的市场环境下，大部分企业着眼于制定短期决策，并且执行人员数量也很有限。而政府的决策制定过程通常需要更长的时间，经过不同群体（包括官员、利益集团和普通民众）反复讨论和磋商，在彼此间达成一致后才能有最终结果。因此，政府制定决策要完成很多程序性步骤，以降低决策风险，提高决策效率和确保其效果。由此看来，大数据在政府部门和私有部门的应用具有很大不同。 　　2.1数据集属性比较 　　大数据环境是以信息技术为基础的决策支持系统的演进：从上世纪60年代的数据处理，到70-80年代的信息应用，再到90年代的决策支持模型，进入2000年后的数据存储和挖掘，再就是今天的大数据。大部分与大数据相关的技术和分析应用是从2010年左右开始出现的，故大数据时代正处于早期阶段/发展初期。 　　大数据的属性和挑战可用3V来描述：海量（volume）、速度（velocity）和多样性（variety）。海量是大数据的基本属性，各类机构和组织在业务活动过程中产生数以百万亿字节的数据，数据容量越来越大；速度是指数据量增长越来越快，对处理速度和响应速度提出更高要求，运用传统的信息技术手段难以有效处理，以及从中提取有价值的信息；多样性是指数据以各种各样类型的出现，包括结构化的（SQL等传统的数据库）；半结构化的（具有关键字和规则，但数据结构不规则或不完整）和非结构化的（非组织性的数据，没有商业智能）。 　　大数据的概念已经表明，大数据不仅仅是海量的数据，还包括通过处理大数据从中获取价值。如今，大数据与商业智能、商业分析和数