大数据变商机怎样让——Google、UPS、亚马逊有成功经验？.docVIP

大数据变商机如何让——Google、UPS、亚马逊有成功经验？ 大数据掀起的革命，正在全面影响你我的生活。面对如此大量数据，该怎麽用?如何正确解读?国外企业成功经验，可以做为借镜。 麻省理工学院教授 Erik Brynjolfsson，具体研究擅长使用数据来决策的公司，整体绩效比不用数据的企业，生产力至少高出 6%，例如，Google、亚马逊等企业竞争力不断往上提上，而不少新创公司则因为有大数据思惟，成为明日之星。《大数据》作者、牛津大学教授 Mayer-Schonberger 提出使用大数据，五大最重要观念，只要跟着这样的逻辑，大家都可能成为新赢家。1. 数据数量远比品质更重要在大数据时代下，数据数量已比数据品质重要。涵盖 60 种语言的 Google翻译，就是一个绝妙例子。早在 1990 年代，IBM 的专家曾开发一套 Candide 翻译系统，采用加拿大国会的英法语双语文件，大约是 300 万个句对，训练电脑读懂使用机率，到底 A 语言的辞汇，最有可能对应到 B 语言的哪个词汇，来增加翻译的精准度，把翻译转换成数学问题 但後来进展却不大，终告放弃。2000 年时，微软语言处理专家发现，当他们在进行文法校正的「机器学习」时，随着输入的数据量不断增加，准确度显着提升，他们当时下了一个假设，「或许我们要重新考虑，是要砸钱来开发程式演算法，还是扩大语料库。」接受不精确 先求扩大数据规模数据来源包含各公司网站、官方文件的多语翻译，国际组织的多语报告，或是Google图书扫描计画，纳入的书籍翻译，甚至包含网上各种断简残篇、品质参差不齐、混乱的数据。这样一来，翻译的准确度再度提升，甚至某个英文字之後，出现另外一个字的机率，都能够计算出来。Google 人工智慧专家指出，Google 使用的数据，常有不完整的句子，拼字错误、文法缺误，但正因为拥有比其他语料库多出千万倍的数据，足以盖过缺点。因此，进入大数据时代的第一个观念，就是要接受，数据「数量」远比数据「品质」重要，而且要接受杂乱，不能事事要求精确。2. 找相关性而非执着因果关系以纽约市为例，每年都因为地下管道火灾，付出不少代价，路面上重达140公斤的铸铁人孔盖更常因为闷烧爆炸，飞到几层楼高，再砸回地面，造成严重公安困扰。但纽约市的地下电缆，长度超过15万公里，足以绕地球三圈半，光曼哈顿就有超过5万1000个人孔盖，数量之多，就算每年定期检查，意外仍然防不胜防。负责管理的爱迪生联合电力公司，找上哥伦比亚大学统计专家鲁丁(Cynthia Rudin)协助。怎麽做呢?第一步，他们先蒐集1880年到2008年管路历史数据，但光是要表达「维修孔」，就有38种不同的写法，数据杂乱无章。研究的重点，在於找出「相关性」。不在於「为什麽会爆炸」，而是「哪个人孔会爆炸」。挑有效指标 逐步缩小问题范围最後，小组发现「电缆年份」和「过去是否发生事故」，是最重要的判断指标，依此原则来替市区几万个人孔盖排定检查顺序。虽然答案好像显而易见，但是过去却浑然未觉，直到分析团队用大数据的科学验证，大家才恍然大悟。纽约市还有另一个严重问题，是住宅非法改建，不少房子都隔成许多小间，住了比原本设计多十倍人数，常发生火灾。为了减少意外死亡，政府需要知道的，反而不是为何有如此多非法住宅，而是这些非法住宅到底在哪里?怎麽找出来?第一，先取得全市 90 万笔住宅数据，再整合 19 个机构数据，像房屋税缴纳状况、是否为法拍屋、水电费是否异常，都纳入考虑。团队也纳入住宅屋型、年份、救护车出勤率、鼠患、非法改建投诉等数据，再拿来与五年来火灾程度数据比对，找出「相关性」来建立预测系统。除了已记录的数据，市府团队还访问了资深检查员，尽可能找出更多可以比对的指标。例如，他们从老干员的口中，发现新砌外墙的住宅，有问题的机率很低，但是调查员也说不上来为什麽，只说是凭直觉，後来发现曾经老屋拉皮的建筑，表示住户较重视环境维护，发生事故的机率就比较低。因此分析专家回头把「市府老旧建物拉皮」这个变项也纳入系统，就像用「删去法」一般，筛选掉相对低风险的住宅，提升预测的准确度。透过反覆比对 提升预测准确度透过这样反覆比对原始指标和每周收到的即时数据，纽约市府每星期都能列出，可能发生火灾的前五名名单，立即交给检察员处理，让这套大数据预测系统大获成功。透过相关性筛选出来的危险建物名单，竟然有 70% 以上确实需要撤离住民，成效斐然。3. 看似没用的数据也有商机除了要能接受杂乱数据，从中找出相关性，迎接大数据，还有另一个重点，就是任何纪录，甚至连情绪、社交图谱、搜寻轨迹，都可数据化。例如，当「地理位置」成为数据，有无限商机。全球最大的打卡社群平台 Foursquare，最重要的功能就是让用户，随时打卡、拍照上传景点。