搜索引擎的采集.docVIP

搜索引擎的采集 一、概述 为了丰富我们的数据资源，我们采用人工的形式进行采集搜索引擎（也就是可搜索内容的站内搜索框链接），我们的数据来源可参考中国网址大全，或是通过百度查找，或是网上其他渠道亦可。 我们的搜索引擎主要是按两个大类，分别是生活娱乐类与各行业分类。详见附件 按大分类进行采集搜索引擎，可在已有的小类下进行添加新的搜索引擎，也可添加新的小类，每个小类里的搜索引擎数不少于10条，每个增加的搜索引擎的所在网站的PR与IP，PV都不能太少。测试这些指数是站长工具（如爱站网）。 （1）采集的内容包括网站名称、网站链接、计算网站的权重、中文关键词、英文关键词、分类标签、搜索框的截图。 （2）各个搜索引擎关键词的采集至少200条无上限，先用百度关键字分析工具（下载一个追词网SEO关键词深度分析与挖掘），英文的用手工，常用相关的，再加拼音（全称加简写即可） 各行业分类的名称见行业分类.doc； 生活娱乐类的名称见生活娱乐分类.doc 数据记录模板见数据采集表.xls； 中文关键词记录见关键词采集表.xls。 流程 第一步，接受任务，看该文档并听详细解说，不懂的可当场提问。 第二步，分配任务，两个负责人，一个负责采集的，一个负责检查的。 第三步，实施任务，包括采集与检查。要在规定的时间内提交给负责人汇总。 第四步，验收任务，汇总之后由负责人发给我，由我做最后的审核。 第五步，发放工资，审核完成后，按相应的情况发放工资给负责人，再由负责人发放 给各成员。 三、采集步骤 进入网站 用站长工具进行测试网站的PR、IP、PV值 合格 不合格 找到站内搜索引擎 丢弃 输入任意字符进行搜索 结果有意义 结果没意义 采集网站信息，名称、网址、搜索框截图 丢弃 四、检查 主要是检查每个搜索引擎是否都可用，以及采集的信息是否都正确，并且排除重复的，还有确定数量。如果发现不合格的或是补充的也算在考核内。最后汇总给我做审核。 五、检查步骤 打开数据采集表 查看记录是否完整 完整 不完整 打开搜索引擎的链接输入任意关键字进行搜索 补充完整或添加 可补充 无法补充 查看内容是否有意义，其他信息是否正确 收录 丢弃 都合格 不合格 收录 叫采集的人修改或是丢弃 六、分工（第一期任务预计完成时间是6月15日，完成量1000到1500条） 分别由两组人进行，一组负责采集暂定10个人，一组负责检查暂定5个人。 七、考核 采集的每条完整记录0.5元，不完整的不算在内。检查的合格加上补充的每条记录0.5元。根据采集的数据质量，我们对好的会做一些适当的奖励，超过200条记录非曲直 的也会给予相应的奖励分别有20到100元不等，同样的数据质量太差的也会扣一些工资分别有10到50元不等。 八、例子 采集生活娱乐大类下的新闻资讯中的小类新闻的搜索引擎，打开网的网址导航新闻分类/html/news/index.htm，打开新浪新闻网，找到站内搜索框，输入关键字后点击搜索，用爱站网的站长工具进行测试IP，PV，PR值等。 （1）判断该搜索引擎可搜，并且合格之后，我们到数据采集表中填写要采集的信息。 一级分类名称：生活娱乐类 二级分类名称：新闻资讯 三级分类名称：新闻 名称：新闻网新闻 权重：30分（综合排名）+6分（PV/IP ）+13分（网站创建时间）+8分（PR）+9分（百度权重）+22分（如下图加红色下划线的是经营性的每个2分，其他的每个1分） 88 链接：/?from newsc newsq 2012 中文关键词：到关键词采集表中填写（追词助手） 英文关键词：sina news xinlang XL 可在词典里查，拼音全称加简写 分类标签：生活娱乐类，新闻资讯，新闻 截图： 中文关键词采集表填写 直接在追词助手里输入关键词：新浪网新闻；相关词数设为200条，然后导出，最后将表的第一列改成搜索引擎的名称即可。 附件： 表格：行业分类.doc；数据采集表.xls；关键词采集表.xls，生活娱乐分类.doc。 工具：爱站网站长工具/（使用综合查询即可）；追词助手；计算器；词典；载图工具。 数据来源参考：网的网址导航/；中国网址大全/，百度进行搜索 备注： （1）权重计算规则：综合排名+PV/IP+创建时间+PR值+百度权重+备案号 权重的计算，按分值计算，100最高。 综合排名：一千以内是30分，一万以内是20分，十万以内是10分，各加十万减一分，100万以上是1分。 PV/IP：值等于1扣1分，大于2的比1大多少加多少分。 创建时间：几年加几分。 PR值与权重：是多少就加多少分。 备案号（在网站首页的最底部）：分为经营性与非经营性的，经营性的每个加2分，非经营性的每个加1分。（经营性的有ICP许可证，SP许可证，文网文，呼叫许可证，BBS，互联网出版许