Initiate产品培训(算法部分).ppt

批量对比running a Bulk cross match Running a Bulk Cross Match Running a Bulk Cross Match是对Deriving Data后生成的数据进行批量匹配从而生成Entity的过程 阈值分析Analyzing Thresholds and Matched Pairs Thresholds Thresholds是阈值，是对Initiate中Member匹配所得分数总体分布的划分，Initiate会根据Thresholds所划分的不同区域采取不同的处理 Auto-Link(AL) Threshold Clerical Review(CR) Threshold LINK IGNORE False Positives与False Negatives False Positives：不应该被link在一起的Member被错误地link在一起 (提高AL有助于减少False Positives) False Negatives：应该被link在一起的Member却被系统忽略 (降低CR有助于减少False Negatives) False Negative False Positive Buckets、Entities分析Analyzing Buckets and Entities Buckets Analysis Overview Member Bucket Values Buckets、Entities分析 * ? 2011 IBM Corporation IBM? Initiate? 产品培训 ?2009 Initiate Systems, Inc. * * ? 2011 IBM Corporation Information Management * ? 2011 IBM Corporation IBM? Initiate? 产品培训 ?2010 Initiate, an IBM Company ?2009 Initiate Systems, Inc. IBM? Initiate? 产品培训 Version 10.0 日程安排 第一天: 介绍产品概念及相关术语 产品的安装及配置 数据模型的介绍及相关配置 第二天: 算法介绍 算法配置及部署 第三天: 数据清洗(Clover ETL) 数据装载 / 生成权重 / 批量比对 Thresholds, Buckets and Entities分析 第四天: 安全管理介绍(LDAP view) 配置/部署/使用 Inspector 中文算法介绍 第五天: 案例实施 算法介绍Configuring the Algorithm Algorithm DATA Algorithm是一系列对Member进行匹配分析从而得到相似度评分的处理流程 将原始数据转换成成更加易于匹配的格式 (512) 634-5144 ? 根据数据相应的属性值进行归类，从而对搜索与匹配进行优化 ? 1344456 匹配数据 ? 6345144 vs. 6345414 6345144 = 3.9 Algorithm包括： Standardization Function Bucketing Function Comparison Function Algorithm何时会被触发？ 当执行查询操作时 当Member的数据被添加时 当Member的数据被更新时 当执行Derive Data操作时 当执行Bulk Cross Match操作时 Algorithm Standardization可以做什么？ 大小写转换：Karen Jones ? KAREN JONES 值截取：(010) 8321-1212 ?删除“匿名值(Anonymous Value)”：删除电话号码000-0000000 校验数据长度：校验身份证号的长度 校验数据格式：校验e-mail地址中是否包含“@” 对等价值(Equivalent Value)进行转换：若Jimmy是James的昵称，则Jimmy ? James Standardization Standardization是减少数据之间差异性、使数据更易于匹配的处理过程，其并不会对原始数据进行修改 经过Standardization后的数据是什么样子的？ “^”用来分隔不同的属性 “:”用来分隔同一属性中的不同Token “~”用来分隔同一属性中的多个值 Standardization Compare Value (cmpval) 常用的Standardization Funct