梁吉业-面向大数据高效特征选择与聚类算法(CRSSC-CWI-CGrC 2013).pdf

CRSSC-CWI-CGrC 2013 面向大数据的高效特征选择与聚类算法 报告人：梁吉业 太原师范学院 山西大学 计算智能与中文信息处理教育部重点实验室 主 要 内 容 第一部分：大数据处理背景 第二部分：高效特征选择算法 基于样本表征整体的特征选择算法 基于批增量的特征选择算法 第三部分：高维复杂数据聚类算法 符号数据K-Modes型算法及其收敛性 混合数据的有效聚类算法 非平衡数据的有效聚类算法 第四部分：大数据处理展望 Shanxi University 第一部分：大数据处理背景 Shanxi University 3 什么是大数据？  维基百科：大数据是指一个超大的、难以用现有常规的数据库管理 技术和工具处理的数据集。 EB 大数据 = “海量数据”+“复杂类型的数据” Shanxi University 4 大数据4V特征 Shanxi University 5 大数据存在于各行各业中 电子商务 智慧医疗 金融 日志分析 国土安全 交通控制 机械制造 视频监控 科学研究 社交网络 移动互联网 交易分析 Shanxi University 6 大数据时代所面向的处理数据 互联网网页 论坛微博 图像分享网站 需要对多源、异构、多模 态数据建立起智能计算的 视频分享网站 理论和方法 监控 视频 … 其他传感器 社交网站 Shanxi University 7 大数据研究基本途径 Shanxi University 8 第二部分：高效特征选择算法 Shanxi University 9 特征选择 特征选择是模式识别、机器学习、图像处理与数据挖掘等领域 的一个挑战性问题。它致力于保持原始特征的某种表达能力。高 效的特征选择算法对于大规模的复杂数据处理来说是非常重要的。 基于样本表征整体的特征选择算法 大数据的高效 特征选择算法 基于批增量的特征选