数据挖掘项目实中的关键环节.ppt

公司介绍 华策辉弘科技有限公司致力于商业数据分析的咨询服务，由具备丰富的国际、国内项目经验的国内外资深专家创办。公司有一支业界不多见的高水准咨询服务专业团队，项目的经验覆盖亚洲太平洋地区包括中国、澳洲、香港、泰国、马来西亚等地的金融业、电讯业以及零售业，为这些不同国家和不同行业的客户提供商业信息及分析性解决方案。 公司介绍 华策辉弘科技有限公司 历史 1997 – 2002, 共同创始人 Eric 工作于SAS中国，Dick工作于SAS香港 2002 – 2004, 独立进行咨询顾问工作 2004 – 2006, Eric在北京创建了华策未来, Dick在香港创建了万讯奥义 2006 – 至今, 在深圳合并，成立了华策辉弘 业务范围 关于决策支持系统/客户关系管理/数据挖掘/信用评分/分析的咨询项目，其主要客户是金融业和通讯行业 基于SAS工具的数据处理和分析的开发服务 提供针对SAS 编程人员/分析师/设计师的培训 团队成员 核心团队成员大都拥有超过八年以上有关各项服务的经验﹐同时具备应用SAS软件八年以上的经验﹐在银行业、电讯业与保险业也有丰富的行业经验, 所担任的角色分别从市场分析及报告到风险评估及管理。团队成员曾经夺得第二届国际智能数据分析比赛冠军。专家团队中有来自英国皇家统计学会的注册统计师。 团队成员在亚太地区及澳大利亚的各行业中的经验 团队成员在亚太地区及澳大利亚的各行业中的经验 电讯行业 中国移动有限公司 中国联通有限公司 澳洲Optus电讯有限公司 香港电讯(PCCW)有限公司 香港和记黄埔有限公司 香港和记环球电讯有限公司 香港数码通移动通讯有限公司 泰国电讯有限公司 泰国AIS电讯有限公司 马来西亚Maxis电讯有限公司 团队成员在亚太地区及澳大利亚的各行业中的经验 保险业 澳洲MBF保险, 澳洲苏黎世保险 零售业 百佳超级市场, 加德士澳洲有限公司 政府部门 香港特别行政区统计处, 香港贸易发展局 中国海关总署 公司介绍 华策辉弘科技有限公司 更多信息： 请访问公司网站 或者与我们联系： +86 755 3336 1183 主题 数据挖掘概述 数据挖掘实施方法论 数据挖掘项目实施流程 专题1：业务目标选定 专题2：数据挖掘项目评估方法 专题3：数据挖掘项目管理 专题4：数据挖掘项目实施中的重要规范 现实世界中的数据挖掘可以用来干什么？—— 搜索制造爆炸的恐怖分子 现实世界中的数据挖掘可以用来干什么？—— 谁会同意扩大军费开支？ 就象解谜语一样, 数据挖掘从大量复杂的数据中发现直接有效的信息和知识. 数据分析的最初 数据分析能力受到计算能力和存储能力的限制. 1959年，IBM大型机7090， 0.5 MHz 处理器 0.2 MB内存！ 一个600行，4列的数据集需要约3000张打孔卡片！ 分析时，一次同时考虑的变量最多达到25个！ 促进数据挖掘发展的要素 数据 —— 大量的，运营型数据 用户和需求 ——业务决策支持的需求 技术和方法 —— 计算能力的飞速发展 —— 多学科领域研究的发展 数据 数据洪水已经来临： 大量的数据在产生： 金融、电信以及其它行业的交易数据 科学实验数据：天文、空间探索、生物及高能物理等 Web 数据：文字、图像及其它多媒体格式 拥有16个望远镜的欧洲长基线干扰仪在25天的观察期中每秒钟产生1G数据 2003年，法国电信的呼叫数据为30TB，ATT以26TB的数据量位居第二，如此多的呼叫数据以致于ATT无法全部保存，对数据的分析也只能是“粗略”的 Google，40亿以上的页面（2004年4月统计），数据量为nTB 据加州大学伯克利分校的研究人员统计，2002年新产生数据为1999年的2倍，而且数据的膨胀在不断加速 用户和需求： 对于复杂现象的简单结论 市场 – 谁将会购买这个产品？ 预测 – 我们将面临何种需求？ 忠诚度 – 谁最有可能流失？ 信用 - 哪一类人群不还款的倾向严重？ 欺诈 - 什么时候会发生？ 用户和需求 技术和方法—— 计算能力的飞速发展 技术和方法—— 多学科领域研究的发展 广泛的商业需求，需要出现一种挖掘数据背后隐藏的知识的手段。 1989年8月在美国底特律召开的第11届国际人工智能联合会议的专题讨论会上首次出现知识发现（KDD）这个术语，数据挖掘（DM）是知识发现（KDD）中的一个特定步骤和核心技术 数据挖掘的研究重点逐渐从发现方法转向系统应用，注重多种发现策略和技术的集成，以及多种学科之间的相互渗透，现在已经成为一个自成体系的应用学科。 什么是数据挖掘？