据与数据挖掘.pptVIP

从KDD 2012看数据挖掘的发展方向 WEB和社交数据分析 针对社交网络和WEB数据，结合社会学等方面的理论，研究其信息传播和用户行为模式的分析方法 主要研究问题 面向市场划分社交网络的聚类 面向竞争的网络中的病毒传播模式分析 * 数据库研究所 * 从KDD 2012看数据挖掘的发展方向 图挖掘 基于新型计算平台研究超大规模图数据的管理与挖掘技术 主要研究问题 基于流计算模式的超大规模图数据分割算法 最大团的有效计算方法 基于图数据的用户行为分析方法 大规模二部图的摘要分析 * 数据库研究所 * 从KDD 2012看数据挖掘的发展方向 时空数据挖掘 面向移动互联网、基于位置的服务等应用的需求，研究各种时空数据及相关数据的模式和关联关系的挖掘方法 主要研究问题 移动对象间关联关系的分析 轨迹数据分析 … * 数据库研究所 * 从KDD 2012看数据挖掘的发展方向 知识库 通过对WEB数据、访问日志等数据源的数据进行分析，获取概念/实体间的关联关系(包括分类体系等)，以构建知识库 知识库是数据语义的新的描述形式 主要研究问题 面向检索关键词的分类体系构造 链接实体分析 * 数据库研究所 * 从KDD 2012看数据挖掘的发展方向 模式挖掘 研究各种新型模式的挖掘和评估技术 主要研究问题 面向流环境的动态模式挖掘 模式的精简表示 模糊覆盖 Categorical属性的布尔表示 * 数据库研究所 * 从KDD 2012看数据挖掘的发展方向 时间序列分析和事件挖掘 针对大规模的时间序列数据研究其蕴含的事件挖掘方法 主要研究问题 时间序列数据的语义描述（事件分析） 超大规模序列数据（包括GPS路径、通讯网络）的挖掘技术 * 数据库研究所 * 不确定数据（Uncertain data）挖掘 不确定数据产生的原因 信息集成 数据采集 封闭世界假设 主要挑战 中间结果的规模过于庞大 主要研究方向 频繁模式挖掘 不确定图数据检索 … 查询John和Bill的SSN号码： (1,7)-0.14; (1,4)-0.06; (7,7)-0.56; (7,4)-0.24; * 数据库研究所 * 从KDD 2012看数据挖掘的发展方向 隐私保护是数据挖掘领域面临的重要问题 匿名化是解决隐私保护问题的途径之一 各种类型数据隐私保护和新的数据保护策略是研究的方向 * 数据库研究所 * 大数据与数据挖掘 大数据 大数据是当前最“热”的名词 大数据的实质内容 从数据出发，通过对海量数据的分析获取有用的信息（纯属个人观点） 大数据的挑战 信息的准确性 数据本身的特性 新型的挖掘算法、… * * 数据库研究所 大数据时代带来的数据挖掘新应用 “沃森” 2011年2月17日由IBM和美国德克萨斯大学联合研制的超级电脑“沃森”(Watson)今日在美国最受欢迎的智力竞猜电视节目《危险边缘》中击败该节目历史上两位最成功的选手肯-詹宁斯和布拉德-鲁特，成为《危险边缘》节目新的王者 基础 存储了大量图书、新闻和电影剧本资料、辞海、文选和《世界图书百科全书》(World Book Encyclopedia)等数百万份资料。每当读完问题的提示后，沃森就在不到三秒钟的时间里在长达2亿页的漫漫资料里展开搜索 * 数据库研究所 * 大数据时代带来的数据挖掘新应用 知识图谱（Knowledge Graph） Google、微软、… 下一代搜索引擎的核心技术之一 基于自然语言理解、机器学习、数据挖掘等技术从WEB网页、互动百科等各种信息源中抽取各种概念和实体，以及它们之间的关联关系 作为一种知识库或语义工具提供检索、推荐、内容管理等方面的服务 * 数据库研究所 * 大数据时代带来的数据挖掘新应用 机器翻译系统 大数据+机器学习+语言学 Google、微软等均提供了基于统计的机器翻译系统 统计机器翻译系统的基础 超过1百万个单词的双语文本语料库 超过10亿个单词的语种语料库 从两个语料库训练的统计模型 * 数据库研究所 * 大数据时代带来的数据挖掘新应用 机器翻译系统 * 数据库研究所 * 大数据对数据挖掘技术的影响 新的分布式、 并行计算平台 新的异构信息 的融合技术 强调对数据的理 解和深度分析 在线数据挖掘技术 * 数据库研究所 * 谢谢！请指正！ * * * * * 抽取得到的数据是没有经过加工的数据，不能直接应用于数据仓库－－提高数据质量 选择：从源系统中得到的整个记录或部分记录； 分离合并：对部分源记录进行分离；对多源系统部分合并 转化：对单独字段的基本转化（规范化，可用可理解） 汇总：当数据仓库无法用最低粒度保存数据或不需要最低粒度数据；如不需要每一收款机的每一笔交易，而是每天每个商店每种商品的数据 * 在数据进入数据仓库之前，必然要经过一致化和综合，所要完成