基于用户特征的数据挖掘及其分析.pptVIP

* 基于用户特征的数据挖掘及其分析 * * 为什么要数据挖掘? 数据的爆炸性增长: 从TB到PB 数据收集和数据可用性 自动的数据收集工具，数据库系统，视频系统，识别系统 丰富数据的主要来源 用户特征:行为、喜好、习惯、身份，年龄，性别，表情、手势… 数据挖掘自动在大型数据中寻找预测性信息，自动预测趋势和行为 行为，喜好，习惯趋势 安全预警 * * 什么是数据挖掘? 数据挖掘 (从数据中发现知识) 从海量数据中提取感兴趣(重要的, 隐含的, 以前未知的 和 潜在有用的)模式或知识 数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣的知识；发现的知识要可接受、可理解、可运用 数据挖掘是从数据中自动地抽取模式、关联、变化、异常和有意义的结构 数据挖掘大部分的价值在于利用数据挖掘技术改善预测模型 * * 数据挖掘技术 技术分类 预言：用历史预测未来 描述：了解数据中潜在的规律 数据挖掘技术 关联分析 序列模式 分类（预言） 聚集 异常检测 * * 数据挖掘系统结构 数据仓库 数据清理 数据集成 过滤 数据库 数据库或数据仓库服务器 数据挖掘引擎 模式评估 图形用户界面 知识库 * * 数据挖掘: 多种技术的融合 数据挖掘 数据库技术 统计学 机器学习 模式识别 算法 其他技术 可视化 * * 数据挖掘流程 系统的数据挖掘过程是一个不断循环、优化的过程。 * * 用户特征挖掘 * * 预测/预警系统 视频监控系统 推荐系统 数据获取 数据 预处理 推荐模型 配置训练 决策生成 决策平台 智能算法插码 智能分析 （采集和推荐） 采集在线行为轨迹 定期更新导入内容数据 推荐内容 为您推荐的…… 历史推荐的…… 相似推荐的…… 预测/预警内容 预测用户行为…… 预测用户习惯…… 提前预警…… 云计算平台 用户特征挖掘 * * 用户特征历史记录 数据清理 当前用户特征记录 用户特征类型标注 用户特征类型访问记录 聚类分析 用户群体聚类结果 计算群体偏好 数据采样 群体对各用户特征类的偏好 存储隶属关系 数据清理 模型合成 模型构建 用户特征挖掘 * * 待推荐内容 用户内容偏好模型 类型特征矢量 标注类型 模型匹配 产生推荐列表 排序 用户喜好程度 推荐列表 模型应用 用户特征挖掘 * * 数据预处理 原始数据 不完整 含观测噪声 不一致 包含其它不希望的成分 数据预处理 数据抽取 数据清洗 数据选择 数据转换 数据挖掘算法 * * 数据挖掘 验证驱动挖掘 发现驱动挖掘 SQL SQL生成器 查询工具 OLAP 描述 预测 可视化 聚类 关联规则 顺序关联 汇总描述 分类 统计回归 时间序列 决策树 神经网路 * * 数据挖掘算法 分类与预测 不完整预测分类标号（或离散值） 根据训练数据集和类标号属性，构建模型来分类现有数据，并用来分类新数据 建立连续函数值模型，比如预测空缺值 建立一个模型，描述预定数据类集和概念集 使用模型，对将来的或未知的对象进行分类 训练数 据集 分类算法 分类规则 测试集 未知数据 聚类 把一个给定的数据对象集合分成不同的簇 聚类是一种无监督分类法: 没有预先指定的类别 聚类结果的好坏取决于该聚类方法采用的相似性评估方法以及该方法的具体实现 聚类方法的好坏还取决与该方法是能发现某些还是所有的隐含模式 相异度的计算 * * 数据挖掘算法 广义知识指类别特征的概括性描述知识。根据数据的微观特性发现其表征的、带有普遍性的、较高层次概念的知识，反映同类事物共同性质，是对数据的概括、精炼和抽象 关联知识反映一个事件和其他事件之间依赖或关联的知识 分类知识反映同类事物共同性质的特征型知识和不同事物之间的差异型特征知识 * * 数据挖掘知识库 预测知识根据时间序列型数据，由历史的和当前的数据去推测未来的数据，也可以认为是以时间为关键属性的关联知识 偏差型知识是对差异和极端特例的描述，揭示事物偏离常规的异常现象 * * 数据挖掘知识库 * * 谢谢大家！ *