听课笔记大数据概论.docVIP

刘涛雄 大纲 大数据概论 大数据的主要技术手段 数据分析技术：机器学习概论 “大数据社会科学” 何为大数据？（ Big Data ） 特点：大。超过常用软件工具的收集、管理和处理数据的能力范围的数据集。 但是，也不是简单地以规模论大，而是相对的复杂程度。 如果以现在计算机的能力： 针对简单查询（如关键词查询） ，数据量为 TB 或 PB是即可称为大数据。 针对复杂查询（如数据挖掘） ，数据量为 GB至 TB时即可称为大数据。 大数据特性： 4V Volume：体量巨大 Velocity ：速度极快 Variety ：模态多样 Veracity ：真伪难辨 无所不在的数据生成源： 全社会（发言、网状结构） 、 网络用户（浏览行为、搜索行为） 、 管理者（发票、医院记录、交通检测） 、 4. 商业机构（手机记录、信用卡记录、保险记录、商场购物记录） 、 5. 健康数据（电子医疗设备记录、医疗检测） 、 卫星信息系统（物联网） 我们都有哪些数据？ 文本信息 中文分词 多媒体 时间序列（高频数据） 空间数据 网页数据 社会网络 大数据与社会科学 第一层次：基于数据的知识发现（ Knowledge Discover in Database, KDD ） 有理论假设的好处：可以节省信息量，缩小搜寻范围。 当数据获取和处理能力足够强， KDD也能体现其优势。 例子： Hedono