商务智能理论与应用2-大数据讲解.ppt

传输速度快 处理的数据是TB级代替了GB级， “超大规模数据”和“海量数据”也有规模大的特点，但大数据更强调数据的快速动态变化，形成流式数据，数据流动的速度快到难以用传统的系统去处理。 价值密度低 数据量呈指数增长的同时，隐藏在海量数据的有用信息却没有相应比例增长，反而使我们获取有用信息的难度加大。以视频为例，连续的监控过程，可能有用的数据仅有一两秒 传统数据与大数据的区别 传统数据 硬件条件 IBM?System?x3100 通过4个DIMM?插槽，实现512MB或1?GB/8?GB?DDR?II?667?MHz的内存容量 可挂6个500G外部存储 建立服务器矩阵后容量 可增加 需求： 腾讯qq邮箱，腾讯宣称有7亿多注册账号，有3亿多活跃账号，平均每人100G空间 传统数据 传统的数据采集来源单一，且存储、管理和分析数据量也相对较小，大多采用关系型数据库和并行数据仓库即可处理。 传统的数据处理方法是以处理器为中心，而大数据环境下，需要采取以数据为中心的模式，减少数据移动带来的开销。因此，传统的数据处理方法，已经不能适应大数据的需求！ 传统数据与大数据的区别 传统数据与大数据的区别 传统数据 处理结构化数据 结构化数据，简单来说就是数据库。 结合到典型场景中更容易理解，比如企业ERP、财务系统；医疗HIS数据库；教育一卡通；政府行政审批；其他核心数据库等。 传统数据与大数据的区别 世界上跟多的是半结构和非结构化数据 半结构化是指数据的字段数量不固定，大小可变化的数据 非结构化数据，包括视频、音频、图片、图像、文档、文本等形式。具体到典型案例中，像是医疗影像系统、教育视频点播、视频监控、国土GIS、设计院、文件服务器（PDM/FTP）、媒体资源管理等具体应用，这些行业对于存储需求包括数据存储、数据备份以及数据共享等。 结构化与非结构化数据 大数据 可处理半结构化和非结构化数据(No sql) 支持分布式处理 具有可扩展性 数据采集方法多样 可处理多种类型的数据 练习 大数据的主要特点有哪些？ 公司备份数据库中有86TB的数据，可称之为大数据吗？ 公司论坛中的所有留言属于大数据研究范畴吗？ 某高校全体学生信息不属于大数据研究范畴（ ？ ） 大数据的多样性主要体现在哪里？ 大数据与数据挖掘 第二部分 大数据 大数据概念 大数据行业应用 数据分析与挖掘 大数据技术 大数据体系 数据的大小 物理属性的数据 公斤、公里、升等 信息属性的数据 位 (Bit)是量度信息的基本单位，只有0、1两种二进制状态。 8位(bit)组成一个字节 (1Byte，8bit)，能够容纳一个英文字符，而一个汉字需要两个字节(2Byte，16bit)的存储空间。 一页书籍：10KB 一张低分辨率照片：100KB 一次胸透视：10MB 一张CD光盘：500MB 一部高质量电影：1GB 大数据 何为大？—数据度量 1Byte = 8 bit 1KB = 1,024 Bytes 1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes 1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes 1EB = 1,024 PB = 1,152,921,504,606,846,976 Bytes 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes 练习题 3PB=( ? )GB 假设《红楼梦》含标点87万字（不含标点853509字），1GB 约等于（？）部红楼梦？1TB 约等于（？）部？ 美国国会图书馆藏书（151,785,778册）（2011年4月：收录数据235TB ），1EB = （？）倍美国国会图书馆存储的信息量 大数据时代的到来主要有以下一些原因 硬件成本的降低 网络带宽的提升 云计算的兴起 网络技术的发展 智能终端的普及 电子商务、社交网络、电子地图等的全面应用 物联网 大数据时代的到来主要有以下一些原因 硬件成本的降低 网络带宽的提升 云计算的兴起 网络技术的发展 智能终端的普及 电子商务、社交网络、电子地图等的全面应用 物联网 大数据时代的到来主要有以下一些原因 硬件成本的降低 网络带宽的提升 云计算的兴起 网络技术的发展 智能终端的普及 电子商务、社交网络、电子地图等的全面