搜索引擎的分词机制.docVIP

搜索引擎的分词机制木木长官〃長官＂(4651130) 14:57:53今天我来给大家讲下 搜索引擎的分词机制〃長官＂(4651130) 14:57:58准备下 马上就开始 〃長官＂(4651130) 15:00:36在搜索引擎中 用户提交的搜索内容会被后台提交到数据库与数据库中的数据来对比，从中调出相应的数据。（这些东西做程序的可能了解）与普通网站的站内搜索类似〃長官＂(4651130) 15:01:38下面举例：比如你想要搜索的是 “京珠高速的火车出轨并且无一人伤亡 天上也掉下冰雹”这个语句的时候〃長官＂(4651130) 15:02:40如果搜索引擎 直接用 你段话与数据库中的数据来对比。肯定搜索不出来任何数据。因为 这个是我自己随便写的。〃長官＂(4651130) 15:03:26但是搜索引擎又不能叫客户搜索不到东西，所以他们用到了中文分词 和英文分词〃長官＂(4651130) 15:03:42今天主要说中文 英文以后在说〃長官＂(4651130) 15:04:50当它用了分词后，用过动易CMS系统的朋友，应该知道。他们采集后的数据，会把标题分割成2个字一组的关键词。〃長官＂(4651130) 15:04:58比如：京珠高速的火车出轨并且无一人伤亡 天上也掉下冰雹〃長官＂(4651130) 15:05:55这个标题 动易的分词机制是这么分：京珠|珠高|高速|速的|的火|火车|车出|出轨|轨并|并且|且无|无一|一人|人伤|伤亡|亡天|天上|上也|也掉|掉下|下冰|冰雹它把每个字前一个和后一个自动组合，虽然不合理，但是有一定的技术含量在里面。〃長官＂(4651130) 15:06:39之所以 把词拆分开，就是为了与数据库中的相应数据来对比〃長官＂(4651130) 15:08:10搜索引擎可以这样做分词（前提是因为数据库中有相应的数据库，还有临时数据库！这些后面有介绍）〃長官＂(4651130) 15:09:03京珠|高速|的|火车|出轨|并且|无一人|伤亡|天上|也掉|下|冰雹〃長官＂(4651130) 15:09:35也可以这样分〃長官＂(4651130) 15:10:42京珠高速|的|火车出轨|并且|无一人|伤亡|天上|也|掉下|冰雹〃長官＂(4651130) 15:11:51怎么个分词方法是根据搜索引擎的数据库与算发有直接的关系〃長官＂(4651130) 15:12:22比如 百度搜索引擎〃長官＂(4651130) 15:13:23这样可以简单的看出他是怎么分的〃長官＂(4651130) 15:13:27〃長官＂(4651130) 15:14:45京珠高速|的|火车出轨|并且无一|人伤亡|天上|也掉下冰雹〃長官＂(4651130) 15:16:02京|珠|高速|的|火车|出轨|并且|无|一人|伤亡|天上|也掉下冰雹〃長官＂(4651130) 15:17:22下面来看看百度搜索引擎中的分词的理解与实践〃長官＂(4651130) 15:17:48〃長官＂(4651130) 15:18:15大家可以看到 这个是百度中的分法（不能一概而论）〃長官＂(4651130) 15:19:07可以看出 我在上面所规划出的词〃長官＂(4651130) 15:19:10〃長官＂(4651130) 15:16:02京|珠|高速|的|火车|出轨|并且|无|一人|伤亡|天上|也掉下冰雹〃長官＂(4651130) 15:19:13这个来`〃長官＂(4651130) 15:19:41〃長官＂(4651130) 15:20:01而第二个呢〃長官＂(4651130) 15:20:08就与上面有些出入了〃長官＂(4651130) 15:21:08这些就是在 数据库中 所存的数据 也可以说是字典〃長官＂(4651130) 15:21:17/s?wd=%BE%A9%D6%E9%B8%DF%CB%D9%B5%C4%BB%F0%B3%B5%B3%F6%B9%EC%B2%A2%C7%D2%CE%DE%D2%BB%C8%CB%C9%CB%CD%F6+%CC%EC%C9%CF%D2%B2%B5%F4%CF%C2%B1%F9%B1%A2cl=3〃長官＂(4651130) 15:21:26大家可以打开这个地址看一下??〃長官＂(4651130) 15:21:28一会在看哦 〃長官＂(4651130) 15:23:20当 这站上的某个页面上出现了我刚才搜索的语句，搜索引擎把他分词，当查寻不到的时候，引擎中还会在把分过的词，或者原句在从新的分词〃長官＂(4651130) 15:23:54也就是相当于??比如搜索的是某个成语〃