B2B搜索架构设计.pptVIP

isearch3.0要解决的问题 支持全文索引和提升单台机器的数据容量和访问量 即时更新、增量更新、即时修改 支持可插件化和二次开发 增强检索功能 多关键字任意逻辑组合 属性搜索,范围搜索,区域搜索 应用平台化 论坛(forum),咨询(news) －高相关性要求和全文索引 专业化搜索(offer,auction,P4P,local) －专业性和智能搜索或特殊搜索逻辑要求较高 类数据库搜索应用(店铺shop,公司company,用户表user等)－没相关性要求,类数据库的搜索功能 isearch3.x系统逻辑架构图 包括索引系统、检索系统和知识库系统 isearch3.x系统代码结构图 isearch3.0新特性 多package应用模型(学习VESPA) 一个package可以包含一个或多个字段 分词器、相关性计算、查询对象可配置化 package1 field 1 field 2 field 3 fieldbit1 fieldbit2 A，R，Q Index File package2 field 1 field 4 fieldbit3 fieldbit4 A，R，Q Index File area_name?q=pkg1::fieldbit1:xxx OR pkg2::fieldbit3:xxx 主索引应用模型 isearch3.0新特性 全文检索和单字段检索并存 支持产品属性的模糊、精确、范围等检索功能 支持贸易通在线状态等即时变化信息搜索 多层cache作用 位置信息缓冲读取 查询关键字LRU算法进行缓存(不影响即时更新) 对每个查询请求通过定时过期方法进行cache 多方位插件支持(平台化) 分词插件－－作用于索引和查询 排序规则插件－－解决特殊商业规则 相关性计算方法插件－－影响最终排序结果 返回结果可配置－－结果返回内容灵活多变 查询方法插件－－满足特殊搜索要求 isearch3.0性能表现 应用服务器推荐配置 硬件要求:8G memory, 4块scsi硬盘做raid0, 4cpu 操作系统:64位linux,内核2.6 Apache2.x, worker模式 性能表现 索引文件大小(519w offer_gb数据) 数据 9.3G, 索引8.0G 查询性能(两层cache时) 32位4g 519w数据 raid0, LoadRunner 10个用户 多线程 145ms, 68.05hit/s load:~10 64位16G 1100w数据 LoadRunner 20个用户 多线程 57ms, 76.217hit/s load:~3.38 isearch4.x系统物理结构图 Search1.1Index 1 Search1.2Index 1 Search1.NIndex 1 SearchM.1Index M SearchM.2Index M SearchM.NIndex M Merge Cluster Blender cluster Configuration Server(clustermap) Monitor Server(simon) Request Request Search1.1Index 1 Search1.2Index 1 Search1.NIndex 1 SearchM.1Index M SearchM.2Index M SearchM.NIndex M Merge Cluster Configuration Server(clustermap) Monitor Server(simon) DFS/分布式存储 Batch Computing IProcess DB 互联网 Build Job Build Job Build Job processer processer processer Proxy cluster application isearch4.x的变化 彻底去掉apache服务器，改用独立开发的多线程服务器，并由两层服务结构变为三层服务结构 增加配置管理服务器(clustermap)和监控服务器(simon) sort框架重构，查询性能优化 增加实时数据分发引擎(dispatcher)系统 Apache(search) Apache(search) Apache(merge) Search Server Merge Server Search Server Search Server Merge Server Blender Server 实时数据分发引擎(dispatcher) 架构图 BlenderMerger Server逻辑架构图 isearch4.x性能表现 Isearch产品设计小结 需求驱动 有需求 业务需求 性能需求 吸纳和融合 有优势 融合l