大数据与数据挖掘培训课件.pptVIP

传输速度快 处理的数据是TB级代替了GB级， “超大规模数据”和“海量数据”也有规模大的特点，但大数据更强调数据的快速动态变化，形成流式数据，数据流动的速度快到难以用传统的系统去处理。 价值密度低 数据量呈指数增长的同时，隐藏在海量数据的有用信息却没有相应比例增长，反而使我们获取有用信息的难度加大。以视频为例，连续的监控过程，可能有用的数据仅有一两秒 传统数据与大数据的区别 传统数据 硬件条件 IBM?System?x3100 通过4个DIMM?插槽，实现512MB或1?GB/8?GB?DDR?II?667?MHz的内存容量 可挂6个500G外部存储 建立服务器矩阵后容量 可增加 需求： 腾讯qq邮箱，腾讯宣称有7亿多注册账号，有3亿多活跃账号，平均每人100G空间 传统数据 传统的数据采集来源单一，且存储、管理和分析数据量也相对较小，大多采用关系型数据库和并行数据仓库即可处理。 传统的数据处理方法是以处理器为中心，而大数据环境下，需要采取以数据为中心的模式，减少数据移动带来的开销。因此，传统的数据处理方法，已经不能适应大数据的需求！ 传统数据与大数据的区别 传统数据与大数据的区别 传统数据 处理结构化数据 结构化数据，简单来说就是数据库。 结合到典型场景中更容易理解，比如企业ERP、财务系统；医疗HIS数据库；教育一卡通；政府行政审批；其他核心数据库等。 传统数据与大数