大数据时代的数管理.docVIP

大数据时代的数据管理 作者 刘庆 发布于 2011年10月24日 处理大数据惯常是属于商业智能（BI）的事情。抽取数据、挖掘数据，制成报表、OLAP、仪表盘、挖掘模型，作为辅助决策之用。不过在BI领域都不这么叫法，大伙儿都说海量数据，Large-scale Data。这听起来还是略显学术气，不如Big Data来的通俗——大数据。这大概是因为如今随处可见的数据，一种爆炸效应带来的结果，已经脱离某种专业的范畴，人们需要用更简单的术语来命名这种数据爆炸。这给不温不火的BI带来一些新的刺激，让BI人看到一些希望。 以前，不说国内，就算是国外，做BI也大多是局限在几个大行当，电信、金融、零售、政府，他们需要数据来帮助自己理性决策。在国内很长一段时间里，更是仅限于电信和金融两个行当。可是尴尬的地方在于，决策者有时候更愿意相信自己的直觉，而非数据。这种意识虽然逐渐在变化，可从来没有发生过根本的变化。意识的变化是艰难的。当一些新兴行业的介入，他们对数据的利用方式，价值的榨取，让人看到数据分析不仅仅用于辅助决策，而是可以从数据中获得收益了，它已经不再是一种锦上添花的东西了，那正是因为大数据时代的到来。这得感谢互联网以及还未兴起的物联网，在这些行当里面，数据在爆发，不断增长。他们不甘心只是如报表、OLAP、仪表盘之类的分析应用。数据分析部门可以按照推荐系统的点击效果利润分成；交易的数据可以包装成分析服务销售给商户，让他们自己去洞察市场商机；根据用户的点击流行为和上网内容，个性化广告布放等等。 就在刚过去的9月，TDWI（数据仓库学院）发布了2011年第四季度最佳实践报告，而这份最佳实践的主题正是大数据分析。TDWI会通过调查问卷的方式，对全球范围的企业调查，目标对象既有IT人，有业务单位的人，也有咨询顾问。问卷的问题一般都会询问企业应用BI技术的实际情况，现在如何，计划如何。所以，这类最佳实践报告可以反映出当下某项技术的现状和趋势。报告的内容也遵循一定结构，一下定义，二看现状，三分长短，四谈趋势，最后再来个厂商介绍。同样，这份大数据分析的最佳实践报告也是如此结构。 其中关于“大数据”的定义，值得关注。如果我们仅仅从字面上看，大数据似乎跟海量数据差别不大，仅仅是变得更加通俗？并非如此，这份报告给出一些区别，TDWI赋予这个术语更多的含义，更多符合目前数据爆炸时代的含义。 大数据的3V Big Data的3V。大数据有3V的特性。 Volume、Variety、Velocity。这3V表明大数据的三方面特质：量大、多样、实时。对，不光是数据量大了。对TB、PB数据级的处理，已经成为基本配置。还能处理多样性的数据类型，结构化数据和非结构化数据，能处理Web数据，能处理语音数据甚至是图像、视频数据。实时。以前的决策支持时代，可以用批量处理的方式，隔夜处理数据，等决策者第二天上班，可以看到昨天的经营数据。但现在的互联网时运营，决策已经不是第二天上班才做出，而是在客户每次浏览页面，每次下订单的过程中都存在，都会需要对用户进行实时的推荐，决策已经变得实时。 这个定义非常完美，形式上也很漂亮，3个V。 可细细想想，这每个方面的V，难道不是传统BI一直在试图征服的嘛？也许所谓大数据时代，是新瓶装旧酒。只是换了一个称呼，而具体要解决的问题，仍是那些存在已久的问题。可毕竟大数据时代轰轰烈烈地，踏着旧的海量数据浪潮而来，而且这将是更高一浪。平常人站在下面，是否会腿脚发软，或是识破浪头的力度，来个漂亮的转身冲浪呢？ 大数据管理的需求与挑战 在这样的大数据时代，数据仍然是最关键的。如何将大数据管理好，仍然是对企业的考验。 无处不数据。手机通话、移动在产生数据，ATM在产生数据，商品上的RFID在产生数据，包裹从一个城市到另一个城市在产生数据。就算是一个小小的店铺，当它销售出去一瓶水，也可能会记录到Excel里面，产生了数据。数据记录这世界的存在和变化。 当企业的某项资产非常重要，数量巨大时，就需要有效管理。如今，数据已经成为这种资产。以前人们还不会将它看做是资产，而是一种附属物。客户来办理业务，在系统中产生了这种附属物。而现在，发现在客户办理业务这条信息中，蕴含这一些客户的需求，成千上万条这类信息累积下来，就能洞察客户所需，为设计新产品，为客户个性化营销产生新的价值。数据变成一种资产了，需要被管理起来。 数据仓库是管理数据的工具。在近二三十年里，以某种类似蜗牛的速度爬行，它始终还是贵族家的玩具。只有那些多金的买主才会为它买单。这让数据管理变得高高在上，数据当做资产只是停留在理念层面。人们还在争论着，数据仓库能够给我们带来什么？ 我自己曾总结过一句话，体现数据仓库的六项价值——“能快速、及时、方便、准确而安全地访问整合过的数据。”现在看看，发现这个描述还蛮符合大数据时代