大数据的产生.pptxVIP

大数据的产生 北京信息职业技术学院 | 朱立 资料来源：慧科教育——开课吧 目录 1 大数据的产生 2 数据产生由企业内部向企业外部扩展 3 数据产生从Web1.0向Web2.0、从互联网向移动互联网扩展 4 数据产生从计算机/互联网（IT）向物联网（IOT）扩展 1 大数据的产生 大量数据的产生是计算机和网络通信技术（ICT）广泛应用的必然结果，特别是互联网、云计算、移动互联网、物联网、社交网络等新一代信息技术的发展，起到了催化剂的作用，它带来了数据产生的四大变化： 1. 数据产生由企业内部向企业外部扩展； 2. 数据产生由Web1.0向Web2.0扩展； 3. 数据产生由互联网向移动互联网扩展； 4. 数据产生由计算机/互联网（IT）向物联网（IOT）扩展。 这4个变化，让数据产生源头成倍地增长，数据量也大幅地快速增长。 在企业内部的企业资源计划（ERP）、办公自动化（OA）等业务、管理和决策分析系统所产生的数据，主要存储在关系型数据库中。内部数据是企业内最成熟并且被熟知的数据。这些数据已经通过多年的ERP、主数据管理（MDM）、数据仓库（DW）、商业智能（BI）和其他相关应用积累，实现了内部数据的收集、集成、结构化和标准化处理，可以为企业决策提供分析报表和商业智能。 2 数据产生由企业内部向企业外部扩展 一些企业已经关注到内部交易数据的潜在价值，如利用一些非结构化数据的分析方法，挖掘在客户交易过程、业务处理流程和电子邮件中所获得的内部日志等数据，来为企业提供客户分析、绩效和文化等方面的更多的洞察力。还有一些企业内部的数据量也很大，如电信运营商、石油勘探企业等，这些机构使用大数据有多年的时间了。例如，一家全球电信公司每天从120个不同系统中收集数十亿条详细呼叫记录，并保存至少9个月时间；一家石油勘探公司分析几万亿字节的地质数据。对于这些公司，大数据虽然是一个新概念，但要做的事情却并不新鲜。他们早就在使用大数据，但由于没有合适的技术手段对这些大数据进行分析，这些大数据大部分被丢弃了。 2 数据产生由企业内部向企业外部扩展 对于所有企业而言，信息化的应用环境在发生着变化，外部数据迅速扩展。企业应用和互联网应用、移动互联网应用的融合越来越快，企业需要通过互联网来服务客户、联系外部供应商、沟通上下游的合作伙伴，并在互联网上实现电子商务和电子采购的交易。企业需要开通微博、博客等社交网络来进行网络化营销、客户关怀和品牌建设。企业的产品被贴上了电子标签，在制造、供应链和物流的全程中进行跟踪和反馈。伴随着自带设备（BYOD）工作模式的兴起，企业员工自带设备进行工作，个人的数据进一步与企业数据相融合，必将产生更多来自企业外部的数据。 2 数据产生由企业内部向企业外部扩展 2 数据产生由企业内部向企业外部扩展 企业内部数据 企业外部数据 企业应用 ERP、CRM、MES、SCADA、OA、专业业务系统、传感器 电子商务、电子采购、知识管理 呼叫中心、企业微博、企业微信 RDID、传感器、BYOD 数据规模 TB级 PB级 数据存储 关系型数据库 各种格式的文档 企业内外部数据的产生 3 数据产生从Web1.0向Web2.0 随着社交网络的发展，互联网进入了Web2.0时代，每个人从数据的使用者，变成了数据的生产者，数据规模迅速扩张，每时每刻都在产生大量的新数据。例如，从全球统计数据来看，全球每秒钟发生290万封电子邮件，每秒钟电子商务公司亚马逊上将产生72.9笔商品订单，每分钟会有20个小时的视频上传到视频分享网站YouTube，谷歌上每天需要处理24PB的数据，Twitter上每天发布5千万条消息，每天被每个家庭消费的数据有375MB，每个月网民在Facebook上要花费7千亿分钟…… 3 数据产生从Web1.0向Web2.0 从中国来看，数据规模也十分巨大，淘宝网目前已拥有近5亿的注册会员，在线商品8.8亿，每天交易超过数千万笔，其单日数据产生量超过20TB。百度目前数据总量接近1000PB，存储网页数量接近1万亿，每天大约要处理60亿次搜索请求，几十PB数据。新浪微博每天有数十亿外部网页和API接口访问需求，服务器群在晚上高峰期每秒要接受100万个以上的响应请求。 4 数据产生从互联网向移动互联网扩展 移动互联网的发展让更多人成为数据的生产者，据统计全球每个月移动互联网使用者发送和接收的数据高达1.3EB。在中国，中国联通用户上网记录条数为83万条/秒，即一万亿条/月，对应数据量为300TB/月，或3.6PB/年。 5 数据产生从计算机/互联网（IT）向物联网（IOT）扩展 随着视频、传感器、智能设备和RFID等技术的增长，视频、音频、RFID、机器对机器（M2M）、物联网和传感器等数据大量产生，其数据量更是巨大。根据I