FAST企业搜索平台.docVIP

微软FAST企业搜索平台简介 微软（中国）有限公司 2010/2/23 目录 第一章 FAST简介 2 第二章 FAST系统概述 3 2.2 主要模块概述 3 2.2.1 FAST ESP（互联网和企业海量信息智能搜索平台） 3 2.2.2 FAST Unity（联合搜索解决方案） 4 2.2.3 FAST Recommendations（个性化推荐平台） 4 第三章 FAST搜索引擎功能概述 5 3.1 信息采集和索引 5 3.1.1 采集多种数据源的信息 5 3.1.2 信息索引机制 7 3.2 信息加工处理 8 3.2.1 信息加工处理流水线 8 3.2.2语言学处理及分词断句 9 3.2.3 实体提炼 11 3.2.4 分类引擎 12 3.2.5 人工关联 12 3.3 确保内容相关性 12 3.4 搜索结果处理 13 3.5 用户体验 15 3.6 管理和监测 20 第一章 FAST简介 FAST是新一代企业搜索技术与资讯革命的中心，我们的创新将继续推进市场的转变， 改变组织营运的方法与策略，将企业搜索转变成IT架构里的重要组件，并让搜索成为每个重要应用的核心引擎。FAST的客户群分布于各个行业，以搜索科技领先竞争对手。 * FAST目前是微软的子公司。 研究表明，企事业单位的数据量以每年两倍的速度成长，数据格式种类也不断地多元发展，除了透过关系数据库存取的结构化数据，非结构化数据更是大幅增加，如：文件、日志、邮件、网页等。 对于企事业单位内部应用来说，多已完成办公、管理等系统的建设，但这些系统其实仅处理了占数据总量20%的结构化数据，占80%之非结构化数据的管理与搜索仍然缺乏妥善的解决方案，若要同时搜索结构化与非结构化数据更是加倍困难，而这却是组织取得正确、完整数据以进行有利决策的必要条件。 对于企事业单位外部应用来说，为客户群提供更好的服务，吸引新客户、留住老客户，将获取自数以百计的数据源的信息进行整合、统一展现，让访问量最大限度的转化为盈利都成为日渐紧迫的任务。 因此，要真正将所有数据转化成为帮助企业提高生产力与获利的资产，关键下一步就是“企业搜索－Enterprise Search”。透过企业搜索，组织内部的用户得以快速从庞大而多元的数据集中获得有用的解答，组织外部的用户更因优异的使用体验，进而提高忠诚度与贡献，而真正的企业搜索平台必须具备： 提高生产力——高效能搜索平台要能以最低成本，在最短时间内搜索最大量且精确数据。FAST透过单一平台即可搜索结构与非结构化等各类型数据，并藉由语言学技术，建立索引，提供精准、符合企业背景与特性的搜索结果，而非一般无差别的搜索方式，FAST ESP更具备比数据库快数十倍的查询效能，大幅降低机器和数据库软件购买的成本，并减轻DBA(数据库管理员)的维护工作，同时FAST ESP带来的准确、快速、更佳的用户体验都能提高企业的运作效率。 提供盈利方案——搜索要转化为广告点击率、交易金额与促销成功率，才能带来实质获利，透过FAST ESP，您可结合客户搜索数据、浏览网页的习惯以及其个人配置(profile)数据，提供更符合需求的推荐商品或更能引起兴趣的广告呈现，使搜索与获利得以紧密结合。 根据Gartner于2009年9月对企业搜索市场的研究报告指出，微软凭借FAST ESP在企业搜索需求的前瞻性、涵盖度和实现能力，已成为该行业的全球领导者。 第二章 FAST系统概述 微软FAST提供搜索引擎的应用方案，将不同来源的所有信息内容整合在一起并以易用的形式再现给用户，为用户提供高度相关的搜索结果和个性化的搜索体验。微软 FAST致力于为每个接入终端（PC、手机等）都提供最好的用户体验。从功能上描述，主要实现以下功能： 信息采集和索引：从多种资源获取信息内容，包括数据库，文本文件和现有的网站，并对所有内容建立索引。 信息加工处理：提供语言学和其他文本分析工具，这些工具不仅能分析数据库数据还能分析现有的网页信息，并将信息以易用的形式再现给用户。 个性化搜索及推荐：提供先进的移动搜索方式，可以帮助终端用户简单准确直观的获取内容和信息。 管理和统计：提供丰富的基于Web的管理界面，用于创建、配置和管理搜索集合，监测和控制系统的组成部分。系统对用户的搜索行为作详细和全面的日志记录，以日志文件的形式存在，也可以将日志信息转存到数据库作进一步分析使用，便于进行全面的业务统计。 2.2 主要模块概述 微软FAST不仅仅是一个搜索解决方案，它涵盖了搜索、推荐、联合检索、上下文相关广告、电子商务应用等众多方面，能够为用户带来整套的盈利方案。在这里，我们先介绍一些能够实现这些功能的主要模块。 2.2.1 FAST ESP（互联网和企业海量信息智能搜索平台） FAST ESP是FAST整套解决方