大数据的反思：不可不知的几个小故事.docVIP

大数据的反思：不可不知的几个小故事 随着各种技术发展，很多人都在吹捧大数据。然而如同股市一样，越是高涨，越是需要警醒，在大数据热火朝天前行的路上，多一点反思，多一份冷静，或许能让这路走的更好、更远。本文的10个小故事，或许能让你有所得。 图1 大数据趋势（图片来源：作者截图） 在大数据热火朝天前行的路上，多一点反思，多一份冷静，或许能让这路走的更好、更远？例如，2014年4月，大名鼎鼎的《纽约时报》发表题为《大数据带来的八个（不，是九个！）问题》”的反思文章【2】，其中文中的第九个问题，就是所谓的“大数据的炒作（we almost forgot one last problem: the hype）”。同样为重量级的英国报刊《财经时报》（Financial Times，FT）也刊发了类似反思式的文章“大数据：我们正在犯大错误吗？ 在大数据热炒之中，大数据的价值是否被夸大了？是否存在人造的“心灵鸡汤”？大数据技术便利带来的“收之桑榆”，是否也存在自己的副作用——“失之东隅”——个人的隐私何以得到保障？大数据热炒的“繁华过尽”,数据背后的巨大价值是否还能“温润依旧”？在众声喧哗之中，我们需要冷静审慎地思考上述问题。 太多的“唐僧式”的说教，会让很多人感到无趣。下文分享了10个从“天南地北”收集而来的小故事（或称段子），从这些小故事中，可对热炒的大数据反思一下，这或许能让读者更加客观地看待大数据。有些小故事与结论之间的对应关系，或许不是那么妥帖，诸位别太较真，读一读、乐一乐、想一想就好！ 故事01：大数据都是骗人的啊——大数据预测得准吗？ 从前，有一头不在风口长大的猪。自打出生以来，就在猪圈这个世外桃源里美满地生活着。每天都有人时不时地扔进来一些好吃的东西，小猪觉得日子惬意极了！高兴任性时，可在猪圈泥堆里打滚耍泼。忧伤时，可趴在猪圈的护栏上，看夕阳西下，春去秋来，岁月不争。“猪”生如此，夫复何求？根据过往数百天的大数据分析，小猪预测，未来的日子会一直这样“波澜不惊”地过下去，直到它从小猪长成肥猪……在春节前的一个下午，一次血腥的杀戮改变了猪的信念：尼玛大数据都是骗人的啊……惨叫嘎然而止。 图2 大数据预测：都是骗人的 这则“人造寓言”是由《MacTalk·人生元编程》一书作者池建强先生“杜撰”而成的【4】。池先生估计是想用这个搞笑的小寓言“黑”一把大数据。 我们知道，针对大数据分析，无非有两个方面的作用：（1）面向过去，发现潜藏在数据表面之下的历史规律或模式，称之为描述性分析（Descriptive Analysis）预测性分析（Predictive Analysis）大数据即全数据（即n=All，这里n为数据的大小），其旨在收集和分析与某事物相关的“全部”数据，而非仅分析“部分”数据。 图3 颠簸的街道 （图片来源：作者截图） 波士顿市政府也因此骄傲地宣布，“大数据，为这座城市提供了实时的信息，它帮助我们解决问题，并提供了长期的投资计划”。著名期刊《连线》（Wired）也毫不吝啬它的溢美之词【5】：这是众包（Crowdsourcing）改善政府功能的典范之作。 众包是《连线》杂志记者Jeff Howe于2006年发明的一个专业术语，用来描述一种新的商业模式。它以自由自愿的形式外包给非特定的大众网络的做法。众包利用众多志愿员工的创意和能力——这些志愿员工具备完成任务的技能，愿意利用业余时间工作，满足于对其服务收取小额报酬，或者暂时并无报酬，仅仅满足于未来获得更多报酬的前景。 然而，从一开始，“颠簸的街道”的产品设计就是有偏的（bias），因为使用这款App的对象，“不经意间”要满足3个条件：（1）年龄结构趋近年轻，因为中老年人爱玩智能手机的相对较少；（2）使用App的人，还得有一部车。虽然有辆车在美国不算事，但毕竟不是每个人都有；（3）有钱，还得有闲。前面两个条件这还不够，使用者还得有“闲心”， 想着开车时打开“颠簸的街道”这个App。想象一下，很多年轻人的智能手机安装的应用程序数量可能两位数以上，除了较为常用的社交软件如Facebook或Twitter（中国用户用得较多的是微博、微信等）记得开机运行外，还有什么公益软件“重要地”一开车就记得打开？ “颠簸的街道”的理念在于，它可以提供 “n=All（所有）”个坑洼地点信息， 但这里的“n=All（所有）”也仅仅是满足上述3个条件的用户记录数据，而非“所有坑洼点”的数据，上述3个条件，每个条件其实都过滤了一批样本，“n=All”注定是不成立的。在一些贫民窟，可能因为使用手机的、开车的、有闲心的App用户偏少，即使有些路面有较多坑洼点，也未必能检测出来。 《大数据时代》的作者舍恩伯格教授常用“n=All”，来定义大数据集合。如果真能这样，那么就无需采样了，也不再有采样偏差