第7章大数据的挑战资料.ppt

城市计算 城市计算的基本框架包括城市感知及数据捕获、数据管理、城市数据分析和服务提供。 城市感知 利用城市现有的资源（如手机、传感器、车辆和人等），在不干扰人们生活的前提下自动感知城市 人作为传感器参与到城市感知过程 手机数据 社交网络 公交刷卡 数据更加丰富，但也更加随机、无序、难以预测、不可控 海量异构数据的管理 气象是时序数据，兴趣点是空间点数据，道路是空间图数据，人的移动是轨迹数据（时间+ 空间），交通流量是流数据，社交网上用户发布的信息是文本或图像数据 如何管理和整合大规模的异构数据是一个新的挑战 异构数据的协同计算 从不同的数据源中获取相互增强的知识 提高对大数据的分析效率 数据维度的增加也容易导致数据稀疏性问题 虚实结合的混合式系统 云加端模式：信息产生在物理世界，通过终端设备被收集到云端（虚拟世界）分析和处理，最后云再将提取的知识作为服务提供给物理世界的终端用户 这对系统的设计和搭建提出了更高的要求 利用轨迹数据优化道路规划 利用兴趣点数据和人们的移动模式研究城市功能分区 利用群体感知监控空气质量 * 智慧城市需要打造一个统一平台，设立城市数据中心，构建三张基础网络，通过分层建设，达到平台能力及应用的可成长、可扩充，创造面向未来的智慧城市系统框架。 建立智慧城市框架 网络层 Network 通讯网 互联网 物联网 手机 摄像头 RFID 传感器网络 视频电话 internet 呼叫中心 无线网关 感知层 Perception 应急指挥 应用层 Application 数字城管 平安城市 政府热线 数字医疗 环境监控 数字物流 智能交通 平台层Platform IT能力 CT能力 数据中心 智慧城市 以后的学习路线图 HADOOP+mahout Python R JAVA+WEKA MATLAB SAS SPSS SQL SERVER EXCEL 人有了知识，就会具备各种分析能力， 明辨是非的能力。 所以我们要勤恳读书，广泛阅读， 古人说“书中自有黄金屋。 ”通过阅读科技书籍，我们能丰富知识， 培养逻辑思维能力； 通过阅读文学作品，我们能提高文学鉴赏水平， 培养文学情趣； 通过阅读报刊，我们能增长见识，扩大自己的知识面。 有许多书籍还能培养我们的道德情操， 给我们巨大的精神力量， 鼓舞我们前进。 * 大数据的挑战 大数据时代 每天，有海量数据产生：新浪微博用户发博量超过1亿条；百度大约要处理数十亿次搜索请求；淘宝网站的交易达数千万笔；联通的用户上网记录一天达到10TB。每年，互联网上的数据每年将增长50%，每两年便将翻一番。目前世界上90%以上的数据是最近几年才产生的。 随着物联网的发展，机器和机器、现有智能设备网络中产生的数据，数量会更大。 数据的变化 总量迅速增加 形态迅速变化 非结构数据、图像、轨迹、网络等数据日益增长 数据之间的联系日益增强 什么是大数据？ “大数据”是一个含糊的词汇 大多数公司感兴趣的是所谓的“现实数据”，诸如网页搜索记录、信用卡消费记录和移动电话与附近基站的通信记录等等 虽然这类数据的规模很大，但却相对容易采集。它们往往是由于不同的用途被搜集起来并杂乱的堆积在一起，而且可以实时的更新。 大数据的4V特点 Volume 海量的数据规模 Variety 多样的数据类型 Value Velocity 快速的数据流转 巨大的数据价值 大数据的特征 稠密与稀疏共存：局部稠密与全局稀疏 冗余与缺失并在：大量冗余与局部缺失 显式与隐式均有：大量显式与丰富隐式 静态与动态忽现：动态演进与静态关联 多元与异质共处：多元多变与异质异性 量大与可用矛盾：量大低值与可用稀少 流感预测 可以比疾病中心更早的预测流行趋势 利用5000万搜索关键词的数据，并和疾病控制中心里面每天 报告的传染病、流感的患病人数进行对比，找到100个最有关联的数据，通过非常简单的多变量的线性回归找到45个，用45个最关联的关键词进行预测 大数据的价值 只要有足够多数据， 数字自己就能说话 数据分析可以生成惊人准确的结果 数据更全，可以彻底淘汰过去那种抽样统计的方法；长尾特征 不用寻找现象背后的原因，只需要知道两者之间有统计相关性就行了 不再需要科学的或者统计的模型，”理论被终结了” 大数据存储 键值模型 列式模型 文档模型 图形模型 键值存储 主要思想来自于数据结构中的哈希表：一个特定的key 和一个 value 指针，指向特定的数据 数据模型简单，易于实现，非常适合通过 key 对数据进行查询和修改等操作 不利于批量数据的查询、更新操作，也不支持特别复杂逻辑的数据操作 DynamoDB 是亚马逊的key-value模式的存储平台 列式存储 在存储数据时，主要围绕这“列”而非“行”进行存储，同一列的数据会尽最大的可