基于用户特征的数据挖掘及其分析.ppt

基于用户特征的数据挖掘及其分析 2019/12/27 2 为什么要数据挖掘 ? ? 数据的爆炸性增长 : 从 TB 到 PB ? 数据收集和数据可用性 ? 自动的数据收集工具，数据库系统，视频系统，识别系统 ? 丰富数据的主要来源 ? 用户特征 : 行为、喜好、习惯、身份，年龄，性别，表情、手势 … ? 数据挖掘自动在大型数据中寻找预测性信息，自动预测趋势和行为 ? 行为，喜好，习惯趋势 ? 安全预警 2019/12/27 3 什么是数据挖掘 ? ? 数据挖掘 ( 从数据中发现知识 ) ? 从海量数据中提取感兴趣 ( 重要的 , 隐含的 , 以前未知的 和 潜在有 用的 ) 模式或知识 ? 数据源必须是真实的、大量的、含噪声的；发现的是用户感兴趣 的知识；发现的知识要可接受、可理解、可运用 ? 数据挖掘是从数据中自动地抽取模式、关联、变化、异常和有意 义的结构 ? 数据挖掘大部分的价值在于利用数据挖掘技术改善预测模型 2019/12/27 4 数据挖掘技术 ? 技术分类 ? 预言：用历史预测未来 ? 描述：了解数据中潜在的规律 ? 数据挖掘技术 ? 关联分析 ? 序列模式 ? 分类（预言） ? 聚集 ? 异常检测 2019/12/27 5 数据挖掘系统结构 数据仓库 数据清理 数据集成 过滤 数据库 数据库或数据仓库服务器 数据挖掘引擎 模式评估 图形用户界面 知识库 2019/12/27 6 数据挖掘 : 多种技术的融合 数据挖掘 数据库技术 统计学 机器学习 模式识别 算法 其他技术 可视化 2019/12/27 7 数据挖掘流程 ? 系统的数据挖掘过程是一个不断循环、优化的过程。 2019/12/27 8 用户特征挖掘 2019/12/27 9 预测 / 预警系统 视频监控系统 推荐系统 数据获取 数据 预处理 推荐模型 配置训练 决策生成 决策平台 智能算法插码 智能分析 （采集和推荐） 推荐内容 为您推荐的 …… 历史推荐的 …… 相似推荐的 …… 预测 / 预警内容 预测用户行为 …… 预测用户习惯 …… 提前预警 …… 云计算平台 用户特征挖掘 2019/12/27 10 用户特征历 史记录 数据清理 当前用户特征记录 用户特征类 型标注 用户特征 类型访问 记录 聚类分析 用户群体 聚类结果 计算群体偏好 数据采样 群体对各用 户特征类的 偏好 存储隶属关系 数据清理 模型合成 模型构建 用户特征挖掘 2019/12/27 11 待推荐内容 用户内容 偏好模型 类型特 征矢量 标注类型 模型匹配 产生推荐列表 排序 用户喜 好程度 推荐列表 模型应用 用户特征挖掘 2019/12/27 12 数据预处理 ? 原始数据 ? 不完整 ? 含观测噪声 ? 不一致 ? 包含其它不希望的成分 ? 数据预处理 ? 数据抽取 ? 数据清洗 ? 数据选择 ? 数据转换 数据挖掘算法 2019/12/27 13 数据挖掘 验证驱动挖掘 发现驱动挖掘 SQL SQL 生成器 查询工具 OLAP 描述 预测 可视化 聚类 关联规则 顺序关联 汇总描述 分类 统计回归 时间序列 决策树 神经网路 2019/12/27 14 数据挖掘算法 ? 分类与预测 ? 不完整预测分类标号（或离散值） ? 根据训练数据集和类标号属性，构建模型来分类现有数 据，并用来分类新数据 ? 建立连续函数值模型，比如预测空缺值 ? 建立一个模型，描述预定数据类集和概念集 ? 使用模型，对将来的或未知的对象进行分类 训练数 据集 分类算法 分类规则 测试集 未知数据 ? 聚类 ? 把一个给定的数据对象集合分成不同的簇 ? 聚类是一种无监督分类法 : 没有预先指定的类别 ? 聚类结果的好坏取决于该聚类方法采用的相似性评估方 法以及该方法的具体实现 ? 聚类方法的好坏还取决与该方法