大数据对it技术架构的挑战28.pdf

大数据热点问题和 2013年发展趋势预测 CCF大数据专家委员会专家调研结果发布 2012年11月30日 2 调研的目标、方法和过程 ? 70位委员 ? 学术界46位、产业界14位、海外10位 ? 思考热点问题 ? 给出2013年大数据发展趋势预测 3 热点问题候选项 一、科学问题 C.1 数据的科学问题（55） C.2 大数据的基本内涵（43） C.3 计算模式（61） 二、技术问题 C.4 数据的多样性与数据态（53） C.5 大数据的空间维问题（44） （分布、感知与传输） C.6 大数据的时间维问题（63） （流式化、时效性、在线处理） C.7 如何将大数据变小（42） C.8 数据的价值提炼（49） 三、应用实践问题 C.9 大数据应用领域（49） C.10 大数据对于系统的要求(49) C.11 数据质量问题 (41) C.12 大数据安全和隐私（59） 四、大数据生态问题 C.13 数据资源化和共享管理（33） C.14 大数据的生态环境（32） 4 【1】数据科学与大数据的学科边界 数据的科学问题 ? 数据界与物理界、人类社会 之间的关联与差异？ ? 是否存在独立于领域的数据 科学？ ? 数据科学的分类谱系 ? 大数据的复杂性主要来自个 体之间的联系 ? 学习理论和认知理论等应当 是数据科学的重要组成部分 大数据的基本问题 (定义、结构等) ? 需要对“大数据”给出科学 定义，清晰说明其内涵与外 延 ? 大数据区别于其他数据的关 键特性是什么？ ? 3V ? 高价值总量、低价值密度 ? 大数据意味着全数据？ ? 需要为动态、高维、复杂大 数据建立形式化、结构化描 述，并在此基础上发展大数 据处理技术 55 43 5 【2】数据计算的基本模式与范式 ? 数据密集型计算的基本范式？ ? 数据计算的效率评估与数据计算复杂性理论？ ? 从中心化的/top-down模式转为去中心化的/自组织 的计算模式？ ? 基于数据的智能：会有越来越多靠“数据的体量+ 简单的逻辑”的方法去解决复杂问题 61 6 【3】大数据特性与数据态 ? 多来源多模态数 据：图像、视频、 音频、数据流、 文本、网页… ? 关联关系异质、 结构模式复杂 ? 互为因果，动态 变化 关系维 复杂性 ? 三元空间大数据 的产生、状态感 知与采集 ? 柔性粒度数据传 输、移动、存储 与计算 ? 数据空间范围和 数据密度的非均 衡态 空间维 复杂性 ? 数据的生命周期 ? 数据的时间维状 态与特征 ? 流化分析、增量 学习、在线推荐 ? 离线与在线时效 性要求 时间维 复杂性 63 53 44 7 【4】大数据的作用力和变换反应 将大数据变小（物理作用） ? 在尽量不损失价值的条件下，减小数据规模 ? 不改变数据基本属性情况下的数据清洗 ? 抽样、去重、过滤、筛选、压缩、索引、提取元数据 等等方法，可以直接将大数据变小，这种作用类似于 所谓的物理式的变小 价值提炼（化学反应） ? 大数据探索式考察与可视化将发挥作用，人机的交互分析可 以将人的智慧作用融入 ? 通过群体智慧、社会计算、认知计算对数据价值的发酵和提 炼 ? 从数据分析到数据制造 42 49 8 【5】大数据安全和隐私问题 ? 安全和隐私，永远的问题 ? 随着数据的增多，组织面 临的重大风险跨越了一个 复杂的威胁面，要遵守更 多合规规定，传统的数据 保护方法常常无法满足 ? 挑战 大数据规模的密码学 分布式编程框架中的安全计算 非关系型数据存储 安全的数据存储和事务日志 终端输入的确认/过滤 实时安全/合规监测 可扩展的、可组合的、脱敏(无 隐私)的数据挖掘和分析 强制的访问控制和安全通信 粒度访问控制 数据来源和数据通道 59 9 【6】大数据对IT技术架构的挑战 ? 大数据对于系统提出了很多非常极限的要求。 不管是存储、传输还是计算 ? 大数据平台将是技术高峰。这个平台可能是计 算平台、传输平台、存储平台、交互平台等等 ? 现有数据中心技术难以满足大数据需求，整个 IT架构的革命性重构势在必行。 ? 存储能力的增长远远赶不上数据的增长，设计 最合理的分层存储架构已成为信息系统的关键 。分布式存储架构不仅需要scale up式的可扩展 性，也需要scale out式的可扩展性 ? 大数据也许会颠覆整个系统结构 49 10 【7】大数据的应用及产业链 ? 大数据一定要与领域知识相结合。在不同的领 域环境和不同的应用需求，大数据的