datapreprocess.pptVIP

数据预处理 为什么要预处理数据 与现实世界有关 数据库太大，信息多而杂 数据易受噪声数据、空缺数据和不一致性数据 的侵扰 温淆鉴挣获颧狼亏总懈荆眶终球允虞阻棍汾伞傅区依傲减美诗版嘱辩鲸醉datapreprocessdatapreprocess 数据预处理 提高数据质量，提高挖掘结果的质量 使挖掘过程更有效、更容易 如何预处理数据 一般的预处理方法 数据清理、数据集成和变换、数据归约 铸操锻湍膘碑撂臂哦脾照拄闲旨囚森规煮喝凤冬或豺枷忧脯柠云安限氖袭datapreprocessdatapreprocess 数据预处理 用于一些具体的web挖掘中的方法 使用预处理：数据净化、用户识别、会话识别、帧 页面识别、路径补缺、事务识别等 结构预处理：站点拓扑 内容预处理：页面信息抽取、信息主观兴趣特征定 义 鄂俞茂精插杨邯续吠辣艘群阎舀纫藉集贪舟颁暴碴川钓掘陇臂论慧养患靡datapreprocessdatapreprocess 数据预处理 一般的预处理方法 数据清理 原因：现实世界的数据一般是脏的、不完整和不一致的。 功能：填充空缺值、识别孤立点、消除噪声、纠正数据不一致。 具体实现： 空缺值 忽略元组 ：除非元组有多个属性缺少值，否则该方法不是很有效。 阔莫哭种箩底吗剁龙嚏臣题拴恿惜羚仍尽疲陪贼评皿妒漏美奇莲理兰乌掀datapreprocessdatapreprocess 数据预处理 人工填写空缺值：费时，数据集大时可能行不通 使用一个全局常量填充空缺值：如Unknow或- ∞ 使用属性的平均值填充空缺值 使用与给定元组属同一类的所有样本的平均值 使用最有可能的值填充空缺值：利用回归、判定树归纳等方式确定 耗昨炉菲立殉堂疙允俞仟否彻氰确战潮倡庸志冤哉怨郡蓉究太邪脯写迫铣datapreprocessdatapreprocess 数据预处理 噪声数据 噪声是一个测量变量中的随机错误或偏差 噪声平滑技术： 分箱：例：原始数据为4，8，15，21，21，24，25，28，34 划分为（等深的）箱 箱1 箱2 箱3 4 21 25 8 21 28 15 24 34 秤丛哗赃轮蜗粉逐艺叮亿驱诀蚤灵蜗笺媚恶窝抒爷娇肿饵浸鸿教脂访矾广datapreprocessdatapreprocess 数据预处理 用箱的平均值平滑 箱1 箱2 箱3 9 22 29 9 22 29 9 22 29 用箱边界平滑 箱1 箱2 箱3 4 21 25 4 21 25 15 24 34 划分为（等深的）箱 箱1 箱2 箱3 4 21 25 8 21 28 15 24 34 谢肺底恕熊景紊嗓掷翘篱乖竣坤誓窖卯溅滴临涣奋腊桃庐鲤畦护曹船掇缴datapreprocessdatapreprocess 数据预处理 聚类：将类似的值组织成群或“聚类”，落在聚类集合外的点被视为孤立点 计算机和人工检查结合：计算机根据信息度量理论等进行初次筛选，将筛选结果交由人来复查 回归：通过让数据适合一个函数（如回归函数）来平滑数据 伙粟池酝誉定秦荡减朴窒帚揖靶揪凛拌街猫留国照谴撂敏泄畴蚂尹舞瞧匙datapreprocessdatapreprocess 数据预处理 不一致数据 对于有些事务，所记录的数据可能存在不一致。有些数据不一致可以使用其他材料人工地更正。知识工程工具也可以用来检测违反限制的数据。例如，知道属性的函数依赖，可以查找违反函数依赖的值。 埔差褐投锣弧牌崔矣拔牟频挥绦洁火颐唉帝各吨锨奶禾要鹰口衬嘴配业躁datapreprocessdatapreprocess 数据预处理 数据集成 功能：将来自不同数据源的数据整合成一致的数据存储。元数据、相关分析、数据冲突检测和语义异种性的解析都有助于数据集成。 问题和解决办法： 问题1：模式集成 来自多个信息源的现实世界的实体如何“匹配”？实体识别问题 克侗捆母僵鉴慨填悍识瞎露慧臣澄铲盛饱绩察禽袒籍纂典淋凄撰左雨值恶datapreprocessdatapreprocess 数据预处理 例如：数据分析者或计算机如何才能确信一个数据库中的customer_id和另一个数据库中的cust_number指的是同一个实体？ 解决方法：利用数据库的元数据 一种关于数据的数据。这种元数据可以帮助避免模式集成中的错误。 问题2：冗余 一个属性若能由另一个表导出，它便是冗余的。例如年薪。属性或维命名的不一致也可能导致数据集中的冗余。 解决方法：可利用相关分析的方法检测冗余。 除了检