用友TurboCRM查重与全文检索.pptxVIP

TurboCRM查重与全文检索 用友软件股份有限公司 CRM标准产品开发部 姜益磊 2010年 09月 16日 查重与全文检索 功能介绍 规则说明 实际应用 系统配置 全文检索 查重 中文、英文、字母、数字如何查重和全文检索 根据名称进行查重 根据电话进行查重 根据电子邮件、网址进行查重 全文检索 附录 功能介绍 从技术实现角度来看，查重是在全文检索的基础上进行的，这里我们主要解释一下全文检索，全文检索是计算机程序通过扫描相关信息中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置。当用户查询时根据建立的索引查找，类似于通过字典的检索字表查字的过程。 功能上全文检索需要具有建立索引，处理查询返回结果集，增加索引，优化索引结构等功能。结构上具有索引引擎，查询引擎，文本分析引擎和对外接口等。 功能介绍 本系统为客户、线索、联系人三个对象提供了查重功能，即按照一定的查重条件，查找出与当前对象信息相同的记录。系统只支持同类型对象的查重，例如在客户中进行查重，查重结果是相匹配的客户记录，而不会出现相匹配的线索或联系人记录。 配置路径：【系统配置】-【客户化平台】-【查重和全文检索】 规则说明 查重无权限限制，任何员工都可以进行查重操作； 系统暂不提供自定义查重条件的功能； 系统只支持同类型对象的查重。 对象查重规则 实际应用 系统配置 1、编辑，对全文索引进行设置 2、系统暂时只提供的客户、联系人、线索三个对象的查重检索 3、结果显示类型：显示快速查看、显示基本属性 4、通过编辑可以设置快速查看属性 5、新建时自动查重功能 实际应用 查重和全文检索编辑 选择全文检索显示类型 1、显示快速查看 检索结果显示红色选择框内的字段 2、显示基本属性 检索结果显示系统默认字段例如：名称、创建时间、修改时间 新建时数据查重 重新生成索引 根据目前对象数据生成索引，没有索引则不能进行查重或检索，索引生成后显示成功 索引文件物理路径在系统安装目录下search\index\ 可直接拷贝作为备份 实际应用 在【营销管理】【服务管理】【营销服务管理】【呼叫中心】模块内，系统快捷按钮下都有全文检索输入框 全文检索 输入要检索关键字“王宝强”，检索结果如下：检索客户2条；联系人1条； 实际应用 查重 下面以客户为例，具体说明查重功能的使用。 下图为客户列表页面，在客户列表中，存在两条以“test01”及两条以“王宝强”开头的记录，现在我们将通过查重功能，将这几条记录查找出来。 实际应用 单击“查重”，选择“查重匹配当前列表”，进入到查重条件设置页面。 用户可以选择匹配字段来匹配查重，本系统中所匹配字段有名称、电话、网址、电子邮件。 如左图：选择“名称”，公司查重规则 点击“下一步” 实际应用 选择导出属性后点击导出 点击导出 实际应用 查看导出Excel，将会发现把这几条数据查询出来。 注意：之前在客户列表中有名称为test02、test03、test04…，并没有认为是重复数据，在PPT后一个部分会对此进行说明。 中文、英文、字母、数字如何查重和全文检索 根据名称进行查重 首先，去除数据名称为英文、字母、数字采用完全匹配，即字段信息完全一样的条目才能通过查重找出； 名称为中文的采用以下步骤处理： 库中名称的头部（省、市）、尾部（后缀信息），例：北京市特博深信息科技股份有限公司---去除头部（北京市）、尾部（股份有限公司）； 接着，在第一步剩余的字段中去除常见字（详见附录），即：去除剩余字段（特博深）信息科技中的常见字：信息、科技； 然后，在数据库中寻找和第二步剩余的字段有相邻两个字的拼音相同的字段，即：寻找和剩余字段（特博深）相邻两个字拼音相同的字段，此时可以找出：特波深、特博生、忑博深… 最后，在第三步寻找出的结果中，寻找和第二步剩余的字段在汉字上匹配度在50%以上的条目，此时查询到的结果即查重的结果。 中文、英文、字母、数字如何查重和全文检索 根据电话进行查重 首先，去除数据库中电话在小于5位或5位的数字串，去除数字串中的分隔符。例：电话86-010123中，去除小于5位或5位的数字串86、010、123，去除分隔符“-”，剩下数字 然后，根据剩下的数字串进行完全匹配，即寻找数字串完全一样的条目； 最后，在第二步完全匹配的条目中，把包含该电话的对象进行名称匹配查重一遍（详见 名称匹配查重），此时得到的条目即根据电话匹配查重的结果。 中文、英文、字母、数字如何查重和全文检索 根据电子邮件、网址进行查重 根据电子邮件查重与根据网址查重的方式一样，都是根据电子邮件或网址字段做完全匹配（查出完全一样的），再把包含该电子邮件或网址的对象进行名称匹配查重一遍（详见 名称匹配查重），最后得到的条目