《大数据素质读本》讲义PPT 第六讲 典型案例解析（未完）.pptx

典型案例解析主讲人：夏道勋博士 副教授 硕士生导师2019/06第六讲 典型案例解析概述大数据具有多样性特征，包含结构化数据、半结构化数据和非结构化数据，相关的内容已在前几讲进行了阐述。本讲围绕结构化数据和非结构化数据，列举如下诸多经典案例，让读者通过实例进一步理解大数据。你会发现大数据其实就在自己的身边，而且也非常有趣。目录结构化数据案例01非结构化数据案例02第六讲 典型案例解析第一节 结构化数据案例：学生贫困补助学生贫困补助的真正目的：需要把补助发放给真正需要帮助的学生。校方：贫困生的衡量标准、评比、公正？学生：急需帮助、碍于面子。解决方案：统计学生在学校的消费数据（半年或者一年），剔除有特殊情况的学生，以最低消费金额排名。 ----以??大学为例。 永远无法伪装：爱情、贫穷、咳嗽第六讲 典型案例解析第二节 结构化数据案例：数据新闻让英国撤军2010年10月23日《卫报》利用维基解密的数据做了一篇“数据新闻”。将伊拉克战争中所有的人员伤亡情况均标注于地图之上。地图上一个红点便代表一次死伤事件，鼠标点击红点后弹出的窗口则有详细的说明：伤亡人数、时间，造成伤亡的具体原因。密布的红点多达39万，显得格外触目惊心。一经刊出立即引起朝野震动，推动英国最终做出撤出驻伊拉克军队的决定。第六讲 典型案例解析第三节 结构化数据案例：贵阳花果园户主信息分析贵阳花果园是贵阳市目前规模最大的城中村改造工程，改造建成后的花果园已成为贵阳主城占地面积为6000亩、总建筑面积为560万平方米、总户数约4万户的罕见大楼盘。这里只涉及住户数据，不涉及花果园里的商城、写字楼等配套设施。我们可以这样假设，这4万户，每户平均3口人，合计12万人口，与贵州玉屏县的人口相当。相关报道称，花果园的入住率已超过80%。花果园第六讲 典型案例解析第三节 结构化数据案例：贵阳花果园户主信息分析当客户在花果园购买房屋时，买卖双方都必须核对清楚最为基本的几个关键信息，见表5-1。值得注意的是，这些都是模拟数据，不是真实数据，仅仅用于说明实际问题。实际上，在购买房屋时需要填写的数据远不止这些。表格一共记录了4万个户主的基本信息，即表格中一共有4万行（记录）。这些数据是再简单不过的结构化数据了，并且已经满足数据的完整性、准确性、一致性和及时性等性质。有了这些数据，可做如下简单的数据分析。户主基本信息（不是真实数据）序号姓名性别购买面积（平方米）身份证号婚姻状况是否购买车位房号1王伟男18052212819830112101X否是A区-01-10012李晴娇女110522101198501121012否否A区-02-1001…40000黄大明男200370181197711131017是是M区-10-1102第六讲 典型案例解析第三节 结构化数据案例：贵阳花果园户主信息分析居民身份证号码含义单从户主的“身份证号”信息来做分析。如果从4万个户主的身份证号信息中筛选出前3位为“52*”（*表示通配符，可通配一个或多个字符）的户主有2万条记录，就可以初步认定这2万个户主来自于贵州，这似乎太具普遍性，也没有针对性。第六讲 典型案例解析第三节 结构化数据案例：贵阳花果园户主信息分析接下来可以进一步筛选，如果筛选出前6位为“522128*”的户主有1000条记录，涉及约3000人（一户平均3口人）。根据全国身份证号编排规则，我们可以认定这1000个户主来自于贵州湄潭县，或者这些人群会与湄潭存在千丝万缕的联系。根据这些信息，一个合法的湄潭籍小汽车司机就可以做这样的一件事情，建立一条私车专线，即拿到这1000个户主对应的房号信息，亲自递上一张名片，组建一个私车专线微信群，告诉他们有一辆专车在花果园随时候驾，可做到精准推送、高效服务。类似地，其他县或者地区可以效仿。八大菜系：鲁菜、川菜、粤菜、苏菜、闽菜、浙菜、湘菜、徽菜婚介和婚纱摄影、装修贵阳 – 湄潭 私车专线（合法经营）问题：数据的买卖第六讲 典型案例解析第三节 结构化数据案例：贵阳花果园户主信息分析我们还可以从身份证号信息中筛选出前3位为“35*”的户主，有2000条记录。根据全国身份证号编排规则，我们可以认定这2000个户主来自于福建，涉及约6000人。我们可以根据房号信息，推断这些户主主要集中在花果园的哪个区。根据这些信息，一个做餐饮的老板就可以在该区开一家适合福建人口味的“闽菜餐厅”，餐厅的规模和口味等尽在老板的掌握中，生意想不火都难。八大菜系：鲁菜、川菜、粤菜、苏菜、闽菜、浙菜、湘菜、徽菜婚介和婚纱摄影、装修贵阳 – 湄潭 私车专线（合法经营）问题：数据的买卖第六讲 典型案例解析第三节 结构化数据案例：贵阳花果园户主信息分析接下来，做一点稍微复杂的关联分析，这在大数据技术的算法中阐述过。如关联户主的“购买面积”和“是否购买