大数据技术及应用培训.ppt

大数据技术及应用 123大数据应用目 录大数据时代大数据技术 大数据时代大数据时代生活、工作与思维的大变革Living, working and thinking big changes一场生活、工作与思维的大变革 大数据开启了一次重大的时代转型。就想望远镜让我们能够感受宇宙，显微镜让我们能够观察微生物一样，大数据正在变化我们的生活以及了解世界的方式，成为新发明和新服务的源泉，而更多的变化正蓄势待发……大数据，变革生活大数据，变革商业大数据，变革思维大数据，开启重大的时代转型预测是大数据的关键 第一种故事，百货企业懂得女孩怀孕第二个故事，搜索热词里的商机第三个故事，阿里懂得谁需要贷款第四个故事，中移动挽留流失客户第五个故事：每天，我们借助大数据完毕微信上的互动第六个故事：大数据解救每一位“路盲”第七个故事：大数据帮助大闸蟹养殖大数据时代 大数据时代 国家电网大数据案例，基于PMS(电力生产系统)系统数据，构建基于词云图分析的文本信息挖掘及可视化实现对电网设备的家族缺陷信息的迅速分析。 6设备类型设备型号断路器查询LW25-126信息查询:高压开关设备缺陷统计分析结果一次系统－其他二次系统－其他数据挖掘分析流程应用大修技改流程厂家设计改进流程物资采购流程供应商评估流程检修计划流程详细记录信息厂家西安西开高压电器股份有限公司河南平顶山高压电器股份有限公司设备类型断路器断路器设备型号LW25-126lw25-126投运日期2007-12-12008-3-1额定电压252KV252KV额定电流630A630A……………...西安西电高压开关有限责任公司断路器Lw25-1262008-3-20252KV630A......……………….…….…….…………大数据时代 大数据时代西安公交集团大数据案例 公交司机驾驶行为直接影响到乘客的安全，如全国公交一样，西安公交集团在每辆公交车上安装了监控设备，每日审核监控视频，对开车过程中出现违章行为的司机进行罚款处理，但因为公交车多，视频数量极大，这给分析处理视频的工作人员带来了很大的工作压力，所以公交集团希望能够建立一种迅速视频辨认分析手段，以缓解目前这种情况。怎样能让20多名工作人员从每天10个小时的视频审核工作中解脱出来？？？ 大数据时代违章类型：吸烟违章时间：2023-01-16违章视频时间：10:57---10:58违章车辆：陕A XXXXX违章人：张XX 经过数据挖掘，使工作人员从每天长达数千小时视频违章信息筛选工作中脱离出来，将原来需要数十小时的视频审核工作，缩短为几种小时完毕，大大提升了工作效率。且能够有效防止人为舞弊的情况。 大数据时代 数据：2023年10月纳税人A申报营业额为10万。 信息： 2023年10月纳税人A申报营业额比去年同期降低了25 %。 知识：原因是纳税人A在华东地域的渠道销售不利，或其产品B进入了衰退期，还是企业整体营销活动落后，竞争者强力促销造成？或是其他原因。针对这一问题企业应正确策略是什么？ 智慧：应正确行动方案可能有多种，但(战略)选择哪个靠智慧。行动则又会产生新的交易数据。 大数据时代大数据时代的思维变革“更多”-不是随机样本，而是全体数据 当数据处理技术已经发生翻天覆地的变化时，在大数据时代进行抽样分析就像在汽车时代骑马一样。一切都变化了，我们需要的是全部的数据，“样本＝总体”。让数据“发声”小数据时代的随机采样，至少的数据取得最多的信息全数据模式，样本＝总体 大数据时代“更杂”-满足精确性，包容混杂性 执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是有框架且能合用于老式数据库的。假如不能接受混乱，剩余95%的非框架数据都无法被利用，只有接受不精确性，我们才干打开一扇从未涉足的世界的窗户。允许不精确大数据的简朴算法比小数据的复杂算法更有效纷繁的数据越多越好混杂性，不是竭力防止，而是原则途径新的数据库设计的诞生大数据时代的思维变革 大数据时代“愈加好”-不是因果关系，而是有关关系 懂得“是什么”就够了，没必要懂得“为何”。在大数据时代，我们不必非得懂得现象背后的原因，而是要让数据自己“发声”。关联物，预测的关键“是什么”，而不是“为何”变化，从操作方式开始大数据，变化人类探索世界的措施大数据时代的思维变革 大数据时代大数据时代的商业变革“数据化”-一切皆可“量化” 大数据发展的关键动力起源于人类测量、统计和分析世界的渴望。信息技术变革随处可见，但是如今信息技术变革的要点在“T”（技术）上，而不是在“I”(信息）上。目前，我们是时候把聚光灯打向“I”，开始关注信息本身了。数据，从最不可能的地方提取出来数据化，不是数字化量化一切，数据化