“大数据”认识及思考.docVIP

“大数据”的认识与思考 刘姝祎 目录 1“大数据”的时代背景 4 1.1“大数据”的概念 4 1.2“大数据”产生的背景 4 1.3“大数据”的特征 5 1.4“大数据”的发展阶段 5 1.5“大数据”带来的机遇 6 2“大数据”的关键技术 9 2.1“大数据”的采集和预处理 9 2.2“大数据”存储技术 10 2.3“大数据”分析技术 10 2.4“大数据”与云计算 11 3大数据产业的应用 12 3.1大数据产业 12 3.2“大数据”在典型领域中的应用 13 3.3智慧城市：立体的大数据生态系统 14 3.3.1智慧城市的产生 14 3.3.2全球智慧城市的实践 15 3.3.3.中国智慧城市 16 4问题与挑战 18 4.1数据质量 18 4.2数据安全 18 4.3用户隐私与便利性的冲突 18 4.4庞大能耗 18 4.5数据分析与管理人才紧缺 19 4.6跟风现象较为严重 19 4.7缺少技术创新水平较高的互联网公司 19 5对大数据产业发展的建议 20 5.1政府方面 20 5.2企业方面 21 5.3公众方面 22 1“大数据”的时代背景 1.1“大数据”的概念 纽约时报在2012年宣布“大数据时代已经降临，大数据最火热的词汇大数据的要义是尽可能地收集众多可以相互叠加补充的信息，据以完成对未来的预测。这些数据可能有些混乱纰漏，但的多和时间的即刻可以弥补数据质量的瑕疵，大数据将以最快的速度预测出最的答案，指引人们迅速采取行动。Gartner曾经指出新技术生命周期的5个阶段，即技术萌芽期（technology trigger）期望膨胀期（Peak of Inflated Expectations）泡沫化的谷底期 （Through of Disillusionment）稳步爬升的光明期 （Slope of Enlightement）期 （Plateau of Productivity 图1-1大数据生命周期图 而大数据正是出于期望膨胀期，预计通过近两年的发展，大数据将会在2016年达到泡沫化的低谷期，之后在5-10年的时间内经历稳步爬上的光明期，到2020年后将会到达实质的成熟使用期。 1.5“大数据”带来的机遇 （1）新一代信息技术融合应用新焦点 对大数据的处理和分析正成为未来新一代信息技术融合应用的核心支撑结点。物联网、移动互联网、数字家庭、社会化网络等都是新一代信息技术具体的应用形态，大数据伴随这些应用不断增长，云计算则为这些海量的、多样化的大数据提供存储和运算的支撑平台。以大数据为结点，各项新一代信息技术应用产生的信息将不断汇集，并通过对不同来源数据的统一性、综合性的处理、分析与优化，将结果反馈或交叉反馈到物联网、移动互联网、数字家庭、社会化网络等应用中，又进一步改善使用体验，并创造出巨大的商业价值、经济价值和社会价值。 （2）信息产业持续高速增长的新引擎 大数据因其巨大的商业价值和市场需求正在推动着信息产业持续高速增长。随着行业用户对大数据价值的认可程度增加，市场需求将出现井喷，面向大数据市场的新技术、新产品、新服务、新业态将会不断涌现，大数据将为信息产业打开一个高增长的新市场。 在硬件与集成设备领域，大数据面临的有效存储、快速读写、实时分析等挑战，将对芯片、存储产业产生重要影响，还将催生一体化数据存储处理服务器、内存计算等市场。在软件与服务领域，因为大数据中蕴含的巨大价值，带来对数据快速处理和分析的迫切需求，将引发数据挖掘、商业智能市场的空前繁荣。 （3）用户提升竞争能力的新动力 对大数据的利用将成为企业提高核心竞争力、并抢占市场先机的关键。企业的决策正在从“业务驱动”转变为“数据驱动”。在未来3到5年，我们将会看到那些真正理解大数据并能利用大数据进行价值挖掘的企业和不懂得大数据价值挖掘企业之间的差距。真正能够利用好大数据、并将其价值转化成生产力的企业必将具备强劲有力的竞争优势，从而成为行业的领导者。在零售行业，对大数据的分析可以使零售商实时掌握市场动态并迅速做出应对；在互联网行业，对大数据的分析可以为商家制定更加精准有效的营销策略提供决策支持；在服务行业，对大数据的分析可以帮助企业为消费者提供更加及时和个性化的服务；甚至在公共事业领域，大数据也开始发挥促进经济发展、维护社会稳定等不可小觑的重要作用。 （4）推动商业模式的创新 对于海量数据而言，提供髙附加价值的数据分析服务，将数据封装为服务形成可对外开放、可商业化的核心能力，实现商业模式的创新，才是大数据运用的关键所在。对于政府和企业而言，至少可以实践4种商业模式的创新。第一是客户关系管理的创新，通过大数据分析可以根据客户的属性，从不同角度深层次分析客户、了解客户，推出新的客户关系管理平台，以