Lucene应用WordNet同义词典实现同义词检索(C#版).docVIP

从此处转载（不知是否是原作者）/%CC%EC%CF%C2%D7%E3%C7%F2001/blog/item/7de397fa5cdecb02d8f9fd2e.html 感谢原作者！ Lucene 应用 WordNet 的同义词典实现同义词检索(C#版) 1 2010-07-18 10:49 同义词检索应该很多时候会用得上的，举个简单的例子，我们搜索关键字 good 的时候，与 well 和 fine 等的词条也可能是你想要的结果。这里我们不自己建立同义词库，直接使用 WordNet 的同义词库，本篇介绍 C# 版的实现步骤，还会有续篇--Java 版。由于 Lucene 是发源于 Java，所以 C# 的应用者就没有 Java 的那么幸福了，Java 版已经有 3.0.2 可下载，C# 的版本还必须从 SVN 库里：/repos/asf/lucene//tags/Lucene.Net_2_9_2/ 才能取到最新的 2.9.2 的源码，二制包还只有 2.0 的。接下来就是用 VS 来编译它的，不多说。只是注意到在 contrib 目录中有 WordNet.Net 解决方案，这是我们想要的，编译 WordNet.Net 可得到三个可执行文件：1. Syns2Index.exe 用来根据 WordNet 的同义词库建立同义词索引文件，同义词本身也是通过 Lucene 来查询到的2. SynLookup.exe 从同义词索引中查找某个词有哪些同义词3. SynExpand.exe 与 SynLookup 差不多，只是多了个权重值，大概就是同义程度好啦，有了 Lucene.Net.dll 和上面那三个文件，我们下面来说进一步的步骤：二. 下载 WordNet 的同义词库可以从 /3.0/ 下载 WNprolog-3.0.tar.gz 文件。然后解压到某个目录，如 D:\WNprolog-3.0，其中子目录 prolog 中有许多的 pl 文件，下面要用到的就是 wn_s.pl三. 生成同义词 Lucene 索引使用命令Syns2Index.exe d:\WNprolog-3.0\prolog\wn_s.pl syn_index第二个参数是生成索引的目录，由它来帮你创建该目录，执行时间大约 40 秒。这是顺利的时候，也许你也会根本无法成功，执行 Syns2Index.exe 的时候出现下面的错误：Unhandled Exception: System.ArgumentException: maxBufferedDocs must at least be 2 when enabledat Lucene.Net.Index.IndexWriter.SetMaxBufferedDocs(Int32 maxBufferedDocs)at WorldNet.Net.Syns2Index.Index(String indexDir, IDictionary word2Nums, IDictionary num2Words)at WorldNet.Net.Syns2Index.Main(String[] args)莫急，手中有源码，心里不用慌，只要找到 Syns2Index 工程，改动 Syns2Index.cs 文件中的writer.SetMaxBufferedDocs(writer.GetMaxBufferedDocs() * 2*/); //GetMaxBufferedDocs() 本身就为 0，翻多少倍也是白搭为writer.SetMaxBufferedDocs(100); //所以直接改为 100 或大于 2 的数就行重新使用新编译的 Syns2Index.exe 执行上一条命令即可。成功执行后，可以看到新生成了一个索引目录 syn_index, 约 3 M。现在可以用另两个命令来测试一下索引文件:D:\wordnetSynLookup.exe syn_index hiSynonyms found for hi:hawaiihellohowdyhulloD:\wordnetSynExpand.exe syn_index hiQuery: hi hawaii^0.9 hello^0.9 howdy^0.9 hullo^0.9也可以用 Luke - Lucene Index ToolBox 来查看索引，两个字段，syn 和 word，通过 word:hi 就可以搜索到 syn:hawaii hello howdy hullo四. 使用同义词分析器、过滤器进行检索相比，Java 程序员要轻松许多，有现成的 lucene-wordne