大数据概述-大数据的数据类型-2.pptxVIP

大数据的数据类型-2 北京信息职业技术学院 | 朱立 资料来源：慧科教育——开课吧 目录 1 大数据的数据类型 2 3 按照产生主体分类 按照数据作用方式分类 1 大数据的数据类型 海量的大数据中，仅有20%左右属于结构化的数据，80%的数据属于广泛存在于社交网络、物联网、电子商务等领域的非结构化数据。由我们创造的技术产生的这些数据早已经远远超越了目前人力所能处理的范畴，机器数据日益重要，且数据越来越成为一种自然资源。对于大数据的数据类型分类，除了可以按照数据结构方式进行分类，还有其他的分类角度。 2 按照产生主体分类——1.最里层 1.最里层：少量企业应用产生的数据 关系型数据库中的数据 数据仓库中的数据 2 按照产生主体分类——2.次外层 2.次外层：大量人产生的数据 Twitter，每天5000万tweets、每年1400%的增长率 微博（文字、图片和视频） 微信（文字、音频、视频） 博客、评论、图片和视频分享 企业博客、企业微博、企业微信 工程师的CAD/CAM数据、设计文档、笔记、日志 电子商务在线交易的日志数据、供应商交易的日志数据 呼叫中心的评论、留言或者电话投诉等 企业应用相关评论数据 2 按照产生主体分类——3.最外层 3.最外层：巨量机器产生的数据 应用服务器日志（Web站点、游戏） 传感器数据（天气、水、智能电网） 图像和视频（车间监控的视频数据、交通、安全摄像头） RFID、二维码或者条形码扫描的数据 2 按照产生主体分类 大数据应用需要整合来自不同数据源、采用不同格式、跨不同业务的各类数据。例如，在一个制造企业中，产品创新的创意可能来自电子商务网站的交易数据和社交网站上关于产品的微博评论和转发信息，产品的设计可能需要调用产品知识库中的二维和三维CAD设计文档以及三维动画原型，产品的市场宣传可能需要研究竞争产品的视频短片等。而一家医疗机构，需要分析与患者症状相似的很多病人的电子健康档案盒电子病历，需要查阅护士和医生的各种病历记录，需要分析患者自服务设备的日志数据以了解近期就诊趋势，需要通过远程的家庭医疗设备分析流媒体数据，这些数据种类也是很多样的。分析大数据的前提是能够采集、解析、集成和存储这些不同类型的数据。对于大量非结构化数据，传统的关系型数据库明显力不从心。 2 按照产生主体分类 图1-不同的大数据主题 3 按照数据作用方式分类 按照数据作用的方式，分为交易数据和交互数据。 （1）交易数据是指来自电子商务和企业应用的数据，包括ERP、企业对企业（B2B）、企业对个人（B2C）、个人对个人（C2C）团购等系统，这些数据存储在关系型数据库和数据仓库中，可以执行联机事务处理（OLTP）和联机分析处理（OLAP）。这些数据的规模和复杂性一直在提高。 3 按照数据作用方式分类 按照数据作用的方式，分为交易数据和交互数据。 （2）交互数据指来自相互作用的社交网络的数据，包括社交媒体交互（人为生成交互）和机器交互（设备生成交互）的新型数据。 两类数据的有效融合将是大势所趋，大数据应用要有效集成这两类数据，并在此基础上，实现这些数据的处理和分析。 致谢 慧科教育——开课吧 11