原创力文档- 1、本文档共27页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
查看更多
手机搜索功能开发说明书.doc
手机搜索功能
版本0.1
文档信息和修改历史纪录
文件名称：搜索相关软件使用.doc
最初作者：
当前修改作者：
版本历史：
版本 时间 作者 修改注释
审批记录：
姓名 时间
分发记录：
姓名 单位、职称
目 录
1. 前言 1
2. 搜索架构 1
3. 工具介绍 4
3.1 开发架构 5
3.2 网页抓取Larbin 5
3.2.1 安装 5
3.2.2 配置 6
larbin.conf 6
option.h 7
3.2.3 运行 8
3.2.4 文件修改 9
3.2.5 TODO 9
3.3 正文提取Distill_text3.0.1 10
3.3.1 安装 10
3.3.2 配置 10
types.h 10
3.3.3 运行 10
3.3.4 文件修改 10
3.3.5 TODO 11
3.4 分词wordseg_final 11
3.4.1 安装 11
3.4.2 配置 11
11
3.4.3 运行 11
3.4.4 文件修改 11
3.4.5 TODO 12
3.5 支持向量机libsvm 12
3.5.1 安装 12
3.5.2 配置 12
12
3.5.3 运行 12
3.5.4 文件修改 12
3.5.5 TODO 13
3.6 自动分类库libbow 13
3.6.1 安装 13
3.6.2 配置 13
13
3.6.3 运行 13
3.6.4 文件修改 13
3.6.5 TODO 14
3.7 自动分类机rainbow 14
3.7.1 安装 14
3.7.2 配置 15
15
3.7.3 运行 15
3.7.4 文件修改 15
3.7.5 TODO 15
3.8 索引Firtex 16
3.8.1 简介 16
3.8.2 安装 17
3.8.3 配置 17
Config.xml 17
自定义参数文件 18
3.8.4 运行 19
4. 附录 20
4.1 词汇表 20
前言
本文档详细描述手机搜索功能研发中的软件使用以及客户化说明。
搜索架构
Spider: 抓取网页
Parser:解析标记，分离URLS，将正文交给Indexer
Indexer:将页面中的词和原数据保存到索引数据库中
Query Engine:接收用户输入的查询条件，搜索索引，将结果返回给用户
工具介绍
Spider Larbin C++ Parser Indexer firtex C++ 自动分类/聚类 Carrot2 java
开发架构
网页抓取Larbin――USE
Crawler一层, The current version of Larbin can fetch 5,000,000 pages a day on a standard PC.
安装
从 /index-eng.html 下载最新版本
解压
# ./configure
# gmake
备注：在这里你还可以选择两种编译方法，gmake prof，或者，gmake debug
如果报错
gcc -O3 -Wall -D_REENTRANT -c -o parse.o parse.c
parse.c:115: error: conflicting types for ’adns__parse_domain’
internal.h:571: error: previous declaration of ’adns__parse_domain’ was here
parse.c:115: error: conflicting types for ’adns__parse_domain’
internal.h:571: error: previous declaration of ’adns__parse_domain’ was here
gmake[1]: *** [parse.o] 错误 1
gmake[1]: Leaving directory `/home/leo/leo/larbin-2.6.3/adns’
make: *** [all] 错误 2
打开./adns/internal.h文件，把568－571行直接注释掉就行了。
adns_status adns__parse_domain(adns_state ads, int serv, adns_query qu,
vbuf *vb, parsedomain_flags flags,
const byte *dgram, int dgle
文档评论（0）