谈大数据的机会与挑战——为什么我们很难像《魔球》一样点石成金.docVIP

谈大数据的机会与挑战——为什么我们很难像《魔球》一样点石成金 ? ? 我们活在大数据的世界，数据的数量与多样化的程度，每日都以前所未有的规模扑向人类。无论你是不是在相关产业工作，都不可能逃离被大数据「围攻」的现实。自哈佛大学电脑科学系毕业、Cambridge Semantics 共同创办人 Lee Feigenbaum 撰写的〈Turnning Big Data into Smart Data〉一文，告诉我们横亘企业眼前的「大数据挑战」。让我们先来看看，大数据到底有多大？? ? 每天全球每一个人聚沙成塔，累积的新数据达到「艾位元组（exabytes）」（甚至达到「皆位元组（zettabytes）」，端赖统计的来源）。? ? 至今一半以上（有些报告甚至指出高达 90%）的数据资料是在过去 12 个月产生的。? ? 人们创造数据的速度每一个月都以双倍速度成长。? ? 除了吓人以外，光有这些「大数据」，其实没有什么意义，唯有人类能够从中发掘价值，大数据才产生意义。所幸，已有很多应用实例，让大数据发出应有的光芒，也让我们看到各行各业有无穷尽的机会，等待数据科学家的探勘。? ? 在「大数据」还没变成人人琅琅上口的流行词汇之前，小说改变而成的电影《魔球》描述美国大联盟运动家队点石成金在缺乏明星球员的状况下杀出血路的真实故事，早已让人津津乐道，而它正是数据分析的绝佳体现。? ? 医疗与制药产业纷纷投入大笔经费，研发「客制化」的个人医学，透过分析病人的特徵与基因组成，给予个别病人量身定做的诊断与疗法，实验室与临床都需要大量且多样化的数据整合。? ? 智能手机、运动手环甚至後来的智慧型手表，我们分分秒秒都在「量化自我」，健身的程度、摄取的营养、身心状况、行为趋向全部都被巨细靡遗的记录下来。? ? 大型银行与隶属政府的金融部门对资料长（chief data officer，CDO）与数据科学家需求若渴，他们要能全盘考量组织职能，针对数据的蒐集、分析与应用做出策略性的思维。? ? 无论地方政府或中央政府，都正流行「资料透明化」，如英美政府皆建立网站揭示公开资料。人们自发性要求政府公布更多资料的行动也如火如荼，例如美国的 DATA Act。? ? 大数据在美国总统大选中扮演了很关键的角色，帮助候选人清晰的辨识出摇摆不定的选民。? ? Target、Walmart 等零售商巨擘已经透彻分析顾客的资料好几年，早就能够在家人与朋友察觉之前，抢先一步知道某个消费者怀孕的消息。? ? 智能恒温器 Nest Thermostat、智能监控 Quirky、利用使用者 GPS 「群众外包」塞车情况的 Waze，都是基於数据蒐集与预测成就物联网生活的新创公司，他们都已获得 GE、Google 等大企业投入钜资甚至并购，企盼能从大数据中挖掘巨量价值。? ? 尽管有这么多成功的案例，对很多企业来说，大数据仍像一座无法翻越的山岭，难以将数据完美的融入决策过程。通常公司在运用大数据时，会遇到下列五个挑战：? ? 挑战 1：我们不知道答案，甚至连问题是什么都很模糊? ? 大数据时代的其中一个关键特徵是，我们很难知道我们需要的答案，有时甚至连想要解决的问题都很模糊。有一部分原因是，大数据的价值在於模式（pattern）与相关性（relationship），但这些过去隐藏在大量资料中的模式与相关性，经常都是意外发现的。我们不能期待专家为每一行资料都特制 MapReduce（Google 提出的软体架构，用於大规模数据的并行运算），其他大数据分析框架也一样有很高的进入壁垒，阻碍简单的资料探索与分析。? ? 拥有深度分析、数学、统计与程式技能的数据科学家，无疑是现阶段最炙手可热的人才，不过人才养成的速度远远不及市场需求。? ? 挑战 2：非结构化的数据难以采集? ? 就现实面来说，大数据其实就等於「非结构化」的数据，也就是从文本分析到未经梳理的文字、声音与影片导出的数据。这些文本分析景观，有着几乎堆积成山的问题，让我们难以利用非结构化的数据帮助日常的企业营运决策。这些问题包括：? ? 不同的内容需要运用不同的工具：客户回响与产业分析各有不同的语言分析工具，如果使用一般的分析软体，可能就会牺牲精准度。? ? 不同的时机需要运用不同的文本分析技术：自文本中萃取企业内部资讯，跟分析社群媒体情绪波动是完全不同的挑战。? ? 文本分析的结果不可预测：挖掘大量网页、电子信箱中的信件、以及其他文件，通常能够显示过去未知的关联性。只是，即使大数据的贮存，让我们能够更便利的捕捉难以控制的数据，不过後续的分析，光有大数据的存在是没有多少帮助的。? ? 挑战 3：大数据难以重复利用? ? 一般而言，数据的搜集、贮