大数据行业实施方案.doc

大数据行业实施方案 word版本下载后可任意编辑修改 　前言 　　在国家和上海市“十二五”科技发展规划及《上海市中长期科学与技术发展规划纲要》指导下，上海市科学技术委员会通过近一年时间的充分调研和讨论，梳理了市场和商业模式创新需求、大数据资源和技术基础、研发能力和人才现状等。经过充分酝酿、多次征求意见，编制本规划： 　　维基百科把大数据定义为一个大而复杂的、难以用现有数据库管理工具处理的数据集。广义上，大数据有三层内涵：一是数据量巨大、来源多样和类型多样的数据集；二是新型的数据处理和分析技术；三是运用数据分析形成价值。大数据对科学研究、经济建设、社会发展和文化生活等各个领域正在产生革命性的影响。为加快上海大数据研究和产业化布局，培育数据产业，服务智慧城市，促进经济结构调整和产业转型，特制定本计划。 　　一、国内外发展现状 　　（一）国外 　　发达国家启动大数据布局。2012年3月，美国政府发布《大数据研究和发展倡议》，投资2亿美元发展大数据, 用以强化国土安全、转变教育学习模式、加速科学和工程领域的创新速度和水平；2012年7月，日本提出以电子政府、电子医疗、防灾等为中心制定新ICT（信息通讯技术）战略，发布“新ICT计划”，重点关注大数据研究和应用；2013年1月,英国政府宣布将在对地观测、医疗卫生等大数据和节能计算技术方面投资1.89亿英镑。 　　跨国IT企业进入大数据领域。传统数据分析企业天睿公司（Teradata）、赛仕软件（SAS）、海波龙（Hyperion）、思爱普（SAP）、Cognos、SPSS等在大数据技术或市场方面各占据一席之地。谷歌、Facebook等大数据资源企业优势显现。甲骨文、IBM、微软、SYBASE、易安信（EMC）、英特尔等企业陆续推出大数据产品和方案抢占市场，如甲骨文公司的Oracle NoSQL数据库、IBM公司的InfoSphere BigInsights数据分析平台、微软公司Windows Azure上的HDInsight大数据解决方案、EMC公司的Greenplum UAP（Unified Analytics Platform）大数据引擎等。 　　大数据技术发展迅猛。数据技术从早期在单机上处理单一类型数据，发展到当前在计算机集群上处理多类型数据，实现时间宽松的数据分析应用。随着数据量发展到PB、EB级甚至更大，并且要求更快的处理分析时间，大数据专用计算机、异地分布式计算机集群、多类型多来源数据的处理和分析、数据网络等复杂结构数据的分析、秒级时间分析等通用技术以及各种面向领域的应用技术是大数据技术的发展趋势。以HDFS、GFS、MapReduce、Hadoop、Storm、HBase、MongoDB为代表的一批大数据通用技术和开源项目迅猛发展。 　　数据科学研究不断壮大。在大数据应用的技术需求牵引下，数据科学研究和人才培养引起各国重视。美国哥伦比亚大学和纽约大学、澳大利亚悉尼科技大学、日本名古屋大学、韩国釜山国立大学等纷纷成立数据科学研究机构；美国加州大学伯克利分校和伊利诺伊大学香槟分校、英国邓迪大学、中国香港中文大学等一大批高校开设了数据科学课程。Facebook等著名企业开始设立数据科学家岗位。 　　（二）国内 　　政府和科研机构开始高度关注大数据。2012年12月，国家发改委数据分析软件开发和服务列入专项指南；2013年科技部将大数据列入973基础研究计划；2013年度国家自然基金指南中，管理学部、信息学部和数理学部将大数据列入其中。2012年12月，广东省启动了《广东省实施大数据战略工作方案》；北京成立“中关村大数据产业联盟”。此外，中国科学院、复旦大学、北京航空航天大学等相继成立了近十个从事数据科学研究的专门机构。 　　数据价值链和产业链初显端倪。百度、阿里巴巴、大智慧等数据资源型和研发应用型企业初步涌现，并引领着数据产业的发展。2010年4月，淘宝推出“数据魔方”应用，开展基于淘宝网交易数据的分析和挖掘。2012年，华为公司推出了大数据解决方案和大数据存储产品。 　　数据产业园区建设逐步展开。上海智慧岛数据产业园、秦皇岛开发区数据产业基地、北京国家地理信息科技产业园、中国国际电子商务中心重庆数据产业园等一批数据产业园区，在有关各方的大力支持下正展开基础建设和招商工作。 　　二、上海基础分析 　　（一）优势 　　数据资源丰富。随着上海“四个中心”建设的全面推进，公众信息需求的不断提升，信息公共服务设施的不断完善，各行业信息化建设的深入推进，上海已经积累并将继续产生庞大的数据资源，在众多领域的重要作用越来越凸显。例如，上海拥有世界最大的医联数据共享系统，有4800万张交通卡、每天30GB交通流量信息数据，亚洲第二的证券交易额，世界第一的货物和集装箱吞吐量等。 　　研究实力