Tencent实习总结.pptVIP

Tencent实习总结 刘小军 实习部门：搜索应用部 部门介绍 部门介绍 长期目标 短期目标 中期目标 Tshp 平台 通用的检索平台 架构。 Sdk:业务使用发送数据 Du 数据模块 Iu 倒排模块 Su检索模块 Bu代理模块 Hu，http server。 Tshp平台 为腾讯内部业务度身订造的搜索平台。 实时搜索。 丰富的排序。 灵活的屏蔽策略。 架构通用性。 XFS 搜搜的分布式文件系统 特点： 元数据信息的分离 quota 回收站 XFS架构图 XFS读流程 XFS写流程 XFS删除 两种方式： 1、移动到回收站 2、直接删除 移动到回收站的删除只是将文件重命名为~[filename].[ts]~，时间戳到期后才会被真正删除。 Thank you! * * 1、SDK向master发送filename，mode，user等信息，请求打开此文件 2、master check此user是否有相应权限，有则返回meta id, fileid，否则返回失败 3、SDK发送fileid, user, mode给meta server，meta server为该文件分配session，返回该文件的长度和session 4、SDK需要获取请求数据对应的节点信息，先从本地cache中查找，找不到则向meta server请求相应数据范围的节点信息，并且会预取后续的几个节点cache到SDK。 5、SDK根据得到的节点信息，选择一个nodeserver作为连接对象，向nodeserver请求数据。 1、SDK向master发送filename，mode，user等信息，请求打开此文件 2、master check此user是否有相应权限，没有文件则创建新文件，返回meta id, fileid，无权限则返回失败 3、SDK发送fileid, user, mode给meta server，根据master返回的是否是新的fileid，meta server决定是否创建文件，此时文件可能已经被打开，meta server会告诉SDK session超时的时间，SDK等待后再向meta server请求，meta server为该文件分配session，返回该文件的长度和session。 4、SDK判断是写新节点还是追加已有节点，如果是写新节点则在SDK的cache中选一定个数的nodeserver用于本次上传（如果cache中没有则向master申请一批nodeserver放入cache中），如果是追加数据，则先到meta server处获取最后一个节点信息。 5、成功获取nodeserver的信息后，选取一个nodeserver连接，其它nodeserver作为pipeline成员。pipeline上的第一个nodeserver收集所有nodeserver的返回状态，如果超过一半写入成功就返回成功，同时通知meta server更新状态。meta server更新状态后返回SDK成功。 * * * 1、SDK向master发送filename，mode，user等信息，请求打开此文件 2、master check此user是否有相应权限，有则返回meta id, fileid，否则返回失败 3、SDK发送fileid, user, mode给meta server，meta server为该文件分配session，返回该文件的长度和session 4、SDK需要获取请求数据对应的节点信息，先从本地cache中查找，找不到则向meta server请求相应数据范围的节点信息，并且会预取后续的几个节点cache到SDK。 5、SDK根据得到的节点信息，选择一个nodeserver作为连接对象，向nodeserver请求数据。 1、SDK向master发送filename，mode，user等信息，请求打开此文件 2、master check此user是否有相应权限，没有文件则创建新文件，返回meta id, fileid，无权限则返回失败 3、SDK发送fileid, user, mode给meta server，根据master返回的是否是新的fileid，meta server决定是否创建文件，此时文件可能已经被打开，meta server会告诉SDK session超时的时间，SDK等待后再向meta server请求，meta server为该文件分配session，返回该文件的长度和session。 4、SDK判断是写新节点还是追加已有节点，如果是写新节点则在SDK的cache中选一定个数的nodeserver用于本次上传（如果cache中没有则向master申请一批nodeserver放入cache中），如果是追加数据，