一淘网技术简介.pdf

一淘网技术简介 一淘网（ ）于2010 年 10月9 日10:39 正式上线，很多同学和同行对一淘的系统架构和 面临的关键技术问题都很感兴趣，这篇短文希望能给予简要的介绍。 系统架构 一淘的 系统架构 如上图所示。可以看到，一淘有三个数据来源：互联网、外部合作方和淘宝主站。 其中，互联网数据通过 crawl 的方式获得，而后两者则通过 feed 的方式提供。 抓取系统 的功能包括：网页抓取、抓取调度、域名解析、死链检测、 JavaScript 执行等。目前，一 淘的资讯、话题、问答 combo 中的大部分数据都是通过抓取系统从互联网获得的。 它是一淘一个重 要的 原料厂“ ”。 离线处理系统 是一个功能众多、可灵活定制的 Pipeline ，其主要功能有：网页编码识别与转换、网页 解析与内容抽取、购物相关站点发现、列表页识别、网页分类与消重、链接提取与合并、关键词 提取、众多网页静态 feature 的提取。 它是一淘的 加工厂“ ”。 存储系统 负责存储抓取系统和离线处理系统的产出，同时向这两个 厂“”提供高性能、大容量的存取 服务。目前我们采用的是 Hadoop+HBase 的体系结构，将网页、链接、图片进行了分类存放。 存储 系统是一淘存放原料、半成品的 核心仓库“ ”。 在线引擎 负责对一淘前端搜索请求返回查询结果，它生成索引的数据来自存储系统。 在线引擎是一 淘面向用户的 成品生产车间“ ”。值得一提的是，一淘采用了阿里集团新一代的 HA2 引擎技术， HA2 结合了开源引擎和阿里上一代引擎技术的设计优点，在支持全文检索的同时，兼备了商品搜索的各 种功能。它目前提供的主要特性有： 一淘前端 负责向终端用户展现搜索结果页， 它是一淘的 “门店 ”，设有各式各样橱窗：商品、淘吧、 资讯、论坛、问答、图片、网页等。保证这个门店正常运转的机制包括： 此外，为了一淘团队的运营效率，我们还在构建一套 从收集“ Query 和 Click 日志开始，进行数据统计 、关联分析、异常报警和人工调整等相关流程 ”的以 Query 为中心的运营工具。 一淘的小二们深知：如何使我们打造的这些橱窗所展现的内容具有越来越精准的 导购相关性“ ”，是 一淘面向用户的 核心价值 。如何进入朝这个方向持续发展的正循环呢？我们目前的思路是：构建一 套结合 “Query分析 ”和 “网页分析 ”的多层次排序模型，在保证相关性的前提下，灵活快速地调整模型 结构以适应变化的业务需求。 Query 分析 的目的是理解用户的查询意图，并将此意图转化成排序时可用的信息影响最终排序结果 ，如： 随着一淘用户越来越多，我们也会进一步挖掘用户查询需求，拓展意图分析种类。 网页分析 期望得到：网页质量、所在站点的权威度、内容的主题词、是否为购物类文章等。这些信 息将和 Query 分析的产出合并，一起在不同层次参与搜索结果相关性的排序过程。 一淘正在建立一套 用户行为“ /模型提升 ”的自循环体系，这其中以用户行为为主、辅以完善模型改进 流程和丰富相关平台工具，期望这样可以越来越自动化地、持续地提升相关性效果，更加智能地满 足用户的搜索意图。 与淘宝的关系 就淘宝目前绝对领先的市场占用率而言，能充分利用好淘宝的站内数据，对一淘来说无疑是很重要 、也很幸运的。 从系统架构 上讲，一淘有很多大数据量的离线计算任务是在淘宝上千台基于 Hadoop 的分布式计算 平台上完成的，在其上获取淘宝的商品、交易和用户数据是一件非常便捷的事情，平台强大的计算 和存储能力也进一步激发了一淘工程师们的想象力和创造力。比如：一淘首次将淘宝用户的搜索查 询词和直接购买的宝贝相关联，并实现了分钟级别的引擎更新，这为用户们提供了最及时导购风 向标。此外，一淘还直接调用了很多线上服务的接口，例如：宝贝搜索、产品搜索、合并同款等。 从产品服务 上讲，一淘是淘宝主站与全网电子商