大数据时代—中国迎来新挑战.doc

大数据时代：中国迎来新挑战 日期：[2012年11月26日]??版次：[SA26]??版名：[深圳读本 深评]??稿源：[南方都市报] ??网友评论：?0? 条 ? ????嘉宾简介 ????涂子沛，知名信息管理专家、专栏作家，先后为《南方都市报》、《IT经理世界》多个报刊网站撰写专栏，著有《大数据》。涂子沛先生在中美两国都有广泛的技术、管理从业经历。 ????赴美之前，曾在中国省、市、县几级政府的不同部门工作过，现担任K?IT?Solutions软件公司亚太事务主任、中国旅美科技协会董事、匹兹堡分会主席。涂子沛先生毕业于卡内基梅隆大学，获信息技术科学硕士、公共管理硕士学位。 ????关于大数据，我会讲三方面的内容：第一，解读一下大数据现象；第二，谈谈大数据这个现象的意义；第三，讨论一下这个时代对我们意味着什么？具体有一些什么样的挑战？ ????五因素促成大数据形成 ????首先讲讲大数据现象。“数据”不是“数字”，对数字可以有很多解读，但是对数据来说，它就是一个有根据的数字，是对客观事件的记录，所以它不仅仅是数字。进入信息社会之后，“数据”的概念和内涵在不断丰富。因为人类发明计算机之后有一个外来词就是“database”，翻译成中文是“数据库”。人类的计算机最早只能处理数据和数字，后来计算机技术不断向前发展，可以处理图像、文档、视频、音频。这一切的东西，无论是文档还是视频、音频，都存放在数据库中，所以，后来大家就把它们统称为“数据”。 ????不仅是数据的内涵在扩大，数据的体积也在扩大。但是这个“大”的含义也是在不断演变的，最早提出“大数据”的时候，这个“大”意味着重要。到2000年，这个定义又开始慢慢转变，这时很多企业的数据业绩有“太”级别的数据了。2000年，有一个宾夕法尼亚大学的教授定义说“200太的数据是大数据”。我认为大数据不仅仅是从容量来看，容量不是那么重要，而是要从大含量、大价值方面来看。 ????“大数据”现象是怎么形成的？我认为有5个因素，包括摩尔定律、普适计算、数据挖掘、社交媒体、云计算，它们促成了“大数据”的形成。 ????首先说摩尔数据。1965年时，英特尔创始人戈登·摩尔发现了一个很重要的现象，总结出一个规律。他说同一个面积的芯片上晶体管的数量在成倍增长，每一到两年就增长一倍。这意味着存储量越来越大，计算量、计算的速度越来越快，越来越密集，同时价格在不断下降。从上世纪50年代人类开始有存储器之后到现在，它的价格下降了300万倍。 ????1988年时又出现了一个新现象，叫做“普适计算”，是马克·韦泽提出的。1988年，他说人类计算机浪潮应该有三组：第一组是主机阶段，很多人共用一个主机，这个主机非常大。然后，可以人手一机了，但是他说这不是终结，未来时代计算机变得非常微小，计算机会无处不在，甚至融入到日常环境中，你发现不到它在计算。我们现在是否已经进入这个时代了？个人的手机已经很小了，其实它就是一台个人电脑。还有无处不在的传感器。我们现在谈的互联网就是普适计算的一部分，覆盖全球的互联网就是它的一个子概念。它又为我们解决了一个新问题，这时人类收集数据的能力得到增强，不仅仅是保存数据了，我们还可以广泛收集数据，无处不计算。 ????1989年时，一个新的东西成为热点，这就是“数据挖掘”。超市通过数据挖掘、购买记录，判断出顾客的需要，定向投放广告。数据挖掘有两种：一种是对过去进行挖掘，发现规律，把这种规律提炼出来；一种是对未来进行预测。数据挖掘解决了一个新问题，这就是现在人类不仅收集、保存数据能力很强，分析数据的能力也得到了提高。 ????2004年之后又有了一个新现象，社交媒体出现了。这时不仅是信息系统，每一个人都在贡献数据。原来的信息记录是一个严整的、有格式的，数据库也是这样的，这个长度是一致的。但是到微博时代就变成了非结构化的数据，每个人都在贡献数据。微博不仅在中国起到了这样的作用，在全世界都起到了很重要的作用。我前两天在北师大和别人交流，他们谈到了一个很有意思的现象。说一个学生总结了一个现象，“信息只能传播信息，行动才能够引发行动”。其实公民社会就是一个可以产生集体行动的社会。 ????2006年，“云计算”出现了。上世纪80年代的公用电话网解决不了私密通话的问题，后来有一个新技术叫做虚拟技术(VPN?)，它解决了这个问题。就是你在想与别人通话时，立刻运行这个软件，就可以架设一条虚拟专线。他们就把这种服务称为“云”。1997年时，就有教授把“云”和“计算”结合到一起。为什么？他们认为计算也会变成这样。不要你去买芯片、处理器，计算会成为一种服务，想要的时候就来。云计算有三种模式：第一种是软件即服务，也就是用互联网上的软件，而不用自己装软件。第二种是平台即服务，用它的软件后，连操作