大数据时代的数据挖掘与商务智能培训课件.pptxVIP

大数据时代的数据挖掘与商务智能第四部分数据管理与数据挖掘概论数据挖掘概况从20世纪80年代中后期，知识发现的方法、技术和系统，从不同角度、不同领域和不同学科进行了研究和实践，主要的学科有数据库、统计学和机器学习。1989年 在底特律第11届IJCAI会议上的KDD研讨会。 1991年MIT 出版社出版了一本书 “Knowledge Discovery in Databases”。1994年召开了一个国际会议(KDD94), 并于1996年由 MIT出版社又出版了一本书 “Advances in Knowledge Discovery and Data Mining”。数据挖掘概况1995年在加拿大的蒙特利尔召开KDD95，作为第一届国际KDD会议，以后每年一次，原为AAAI组织，1999年由ACM组织，改为SIGKDD。2006年、第12届在美国费城（国际站点\KDNuggets\KDD 2006 Conference - Program.htmPhiladelphia）。2007年在美国加州圣何塞（国际站点\KDD 2007 Conference Home Page.htmSIGKDD07) 2008年在美国LAS VEGAS(国际站点\KDD 2008 - Knowledge Discovery and Data Mining Conference.mhtSIGKDD08)。 “Data Mining and Knowledge Discovery ” 1997年创刊。(国际站点\DM KD\SpringerLink - Publication.htmSpringer，国际站点\DM KD\SpringerLink - Issue(1997).htm1997，国际站点\DM KD\SpringerLink - Issue(2006).htm2006）。国外相应的研究小组的建立，接着数据挖掘公司风起云涌。一些大公司建立数据挖掘小组和开发各种产品。国内研究小组的建立，一些公司也开始了数据挖掘项目。数据挖掘概况数据挖掘是20世纪80年代后期发展起来的一种新兴技术。它是商业、企业竞争和技术发展的需求的结果，数据挖掘技术是多种学科的交叉的产物。数据挖掘数据挖掘任务数据挖掘任务技术分类预测（Predication）：用历史预测未来描述（Description）：了解数据中潜在的规律数据挖掘的具体任务关联分析序列模式分类（预测）聚集异常检测数据挖掘任务描述性分析聚类分析关联分析异常点分析、可视化……预测性分析分类（离散）回归分析（连续）时间序列分析……数据挖掘概况数据挖掘技术基本内容框架数据预处理 （1）数据清理 （2） 数据变换 （3）数据集成 （4）数据归约 （5）数据离散化数据挖掘基本方法 （1）关联规则（2）分类与预测（3）聚类数据挖掘的深入内容 （1）时间序列和序列（2）空间数据挖掘 （3）文本挖掘 （4）Web挖掘 （5）多媒体挖掘 （6）可视化数据挖掘概况由于任务不同，要求不同，数据不同，没有单一的数据挖掘软件可适用所有的情形。造成了各种方法都在快速发展，各种数据挖掘软件不断增多。但商家近年来有逐渐减少的趋势，大公司的介入，一些大的有实力的公司开始更多占领市场。基本方法如上所述。软件功能和性能有很大差异。选软件应考虑的因素很多。数据挖掘概况 从问题回答的角度：有些问题可明确和准确回答（要求这样）有些问题是给出可能的回答有些问题可能给出不太明确的回答有些问题可能给出可能错误的回答。这些回答从数据的角度：有些是查询，有些是统计，有些是归纳，有些是推断，有些预测，有些是分析。数据挖掘要回答那些不是简单查询和统计回答问题。数据挖掘概况无法准确回答的问题信贷中信用评估，信用卡评级，信用卡欺诈销售一个产品 广告 材料 邮寄给谁保留客户, 争取客户交叉销售违规操作，欺诈行为发现，异常发现 货架货物的摆放国民经济各指标间的关系疾病, 症状, 药物, 疗效之间的关系DNA序列的相似分析导致各种疾病的特定基因序列模式凭理论，经验，群体分析，凭数据分析，挖掘数据挖掘概况各种部门都面临不同的挑战一些面临竞争的部门与企业： 银行，电信，保险，证券，商场，各种企业。这些企业关心的问题：争取客户，增大销售，提高利润。一些垄断部门与企业： 电力，税务，社保。面对抱怨，面对抗争，面对欺诈。政府和企业面临科学决策数据挖掘概况数据仓库和数据挖掘项目提到日程数据分析、决策支持系统、商业智能（BI）、 知识管理、客户关系管理(CRM)、物流与供应链管理(SCM)、企业资源计划(ERP)、各种预测。政府、科技部门、大型企业（工厂，公司，商场），经济部门、金融机构（银行、证券、保险）、电子商务、电子政务、各种“金” 工程。数据挖掘概况数据仓库