搜索引擎和eCommerce（续）.pptVIP

搜索引擎和eCommerce（续） 参考Jaime Carbonell教授的讲义 建一个搜索引擎 (1) 得到一个文档集合，C 要一个（例如从北京大学网络实验室），买一个（例如从Inktomi） 自己从Web上爬取一个 或者，收集本单位网站上的内容 爬取，或者直接得到 建一个搜索引擎 (2) 对这个文档集合建立索引 基于收集的文档集合C建立一个词典 找到所有的词，可以考虑取词根 过滤掉停用词 也可以考虑产生一些短语作为词项， 记Σ为词项的集合 对Σ中的每一个wi 计算并存储其 log2IDF 找到所有wi 在其中出现的文档 Dj 存储文档的标识 ID(Dj) 和 wi 在其中的位置 建一个搜索引擎 (3) 查询Q和文档的匹配 过滤掉不在 Σ中的词 计算 ArgmaxkDj in C[sim(Q, Dj] 用点乘或者cosine相似度 用倒排索引结构 搜索引擎Business (1) 所提供的服务 定位（最）有用的网页 两步曲：“给出查询，得到结果列表 然后基于综述点击察看 搜索引擎Business (2) 收入模型 追求流量 = 广告等 Lycos, Google, AltaVista, Excite, Metacrawler... 安装intranet搜索，收费；或者为其他网站提供搜索服务 Inktomi, Verity, Google, Condor... 提升父公司的声誉和价值 Infoseek = Disney 搜索引擎Business (3) 混杂模型 通用定位器 (人，地点，...) Metacrawler/GO2Net, Lycos... 基于内容的层次式信息浏览 Yahoo clear first, later Lycos others... 结合新闻，股票行情，聊天室，.... Yahoo clear leader, now many others... 新技术 (1) 更好的搜索引擎技术 元搜索 (将多个搜索引擎的结果组合起来) e.g. Metacrawler, Vivisimo 将IR和人工分类结合 Yahoo首先这么做，后来大多数其他的目录门户都跟随 新技术 (2) Better Search Technologies 按照入向链接的密度对网站排序 e.g. Google, Authorities = 具有很高的“入度”的网页 Hubs = 具有很高的“出度”的网页 Rank = Argmaxkdj in Drel[Σilogi (inlinki(dj))ai ] 将IR和翻译结合 e.g. AltaVista/Babblefish, Google, … 新技术 (3) Better Mousetraps in the Drawing Board 真正基于Web的跨语言IR 功能强，更准确的查询：收费 (MMR, probabilistic IR search, quality filters,...) WebSearch + Summarization Fusion 多媒体搜索：收费 自动生成类似于Yahoo的目录层次 搜索部分潜藏的Web（hidden-web） (distributed IR) 新技术 (4) Better Mousetraps in the Drawing Board 更全面的Web Crawlers AltaVista indexes 30% of web Google indexes 2.0 Billion URLs 50% of web 其他的要少很多... 生成对提问的答案（不仅是提问对已有库存的“命中”）[AskJ does not work well] FAQ’s, helpdesks, networking to humans, ... 反过来：针对搜索对网站的优化 目标 让潜在的用户能容易地发现你的电子商务网站 让你的网站在搜索引擎中排在竞争对手的前面 让你的客户一旦访问你的网站，呆在上面的时间尽量长。 Optimizing WebSites for Searching (2) 内容策略 1. 按照你的原意初步创建一个网站 2. 从你的网站和主要竞争者的网站内容上生成一个词语表（可以考虑按字母序） e.g. ...amazing antelope antiques auction ... catalog cars ... Optimizing WebSites for Searching (3) Content Strategy 3. 挑出那些和你的业务不直接相干的词 e.g. auction antiques catalog... 4. 用同义词或者高度相关的词项对它们进行扩展（查询扩展的对