CRF工具包使用简介.doc

CRF工具包使用简介 最近我刚开始使用CRF工具包，里边的具体细节也没有研究明白，但论坛上有人询问工具包的使用，我就将它贴出来一下。希望和大家一起讨论讨论。另外需要说明的一点是，下面的内容是从crf工具包网页内容翻译的，可能理解上有偏差，翻译也有问题。所以还请大家指正。英文原文请大家参考网页。－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－CRFs工具包工具包地址：/~taku/software/CRF++/#features，工具包包括Linux环境下的源代码和Windows下的可执行程序。用C++编写。使用方法：(1)安装编译器要求：C++编译器(gcc 3.0或更高)命令：% ./configure% make% su# make install注：只有拥有root帐号的用户才能成功安装。(2)使用(2.1)训练和测试文件的格式训练和测试文件必须包含多个tokens，每个token包含多个列。token的定义可根据具体的任务，如词、词性等。每个token必须写在一行，且各列之间用空格或制表格间隔。一个token的序列可构成一个sentence，sentence之间用一个空行间隔。最后一列是CRF用于训练的正确的标注形式。例如：He ?? ??? PRP?? B-NPreckons VBZ?? B-VPthe ?? DT B-NPcurrent JJ I-NPaccount NN I-NPdeficit NN I-NPwill ?? MD B-VPnarrow VB I-VPto ?? ??? TO B-PPonly ?? RB B-NP# ?? ?? # I-NP1.8 ?? CD I-NPbillion CD I-NPin ?? ??? IN B-PPSeptember NNP?? B-NP. ?? ?? . OHe ?? ??? PRP?? B-NPreckons VBZ?? B-VP..上面的例子每个token包含3列，分别为词本身、词性和Chunk标记。注意：如果每一个token的列数不一致，系统将不能正确运行。(2.2)准备特征模板使用该CRFs工具的用户必须自己确定特征模板。基本模板和宏(模板文件中的每一行代表一个template。每一个template中，专门的宏%x[row,col]用于确定输入数据中的一个token。row用于确定与当前的token的相对行数。col用于确定绝对行数。如已知下面的输入数据：Input: DataHe ?? ??? PRP?? B-NPreckons VBZ?? B-VPthe ?? DT B-NP 当前的tokencurrent JJ I-NP account NN I-NP特征模板形式为：templateexpanded feature%x[0,0]the%x[0,1]DT%x[-1,0]rokens%x[-2,1]PRP%x[0,0]/%x[0,1]the/DTABC%x[0,1]123ABCthe123模板类型(有两种模板类型，它们可由template的第一个字符确定。第一种是Unigram template：第一个字符是U这是用于描述unigram feature的模板。当你给出一个模板U01:%x[0,1]，CRF会自动的生成一个特征函数集合(func1 ... funcN)，如：func1 = if (output = B-NP and feature=U01:DT) return 1 else return 0func2 = if (output = I-NP and feature=U01:DT) return 1 else return 0func3 = if (output = O and feature=U01:DT) return 1?? else return 0....funcXX = if (output = B-NP and feature=U01:NN) return 1?? else return 0funcXY = if (output = O and feature=U01:NN) return 1?? else return 0...一个模型生成的特征函数的个数总数为L*N，其中L是输出的类别数，N是根据给定的template扩展出的unique string的数目。第二种类型Bigram template:第一个字符是B这个模板用于描述bigram features。使用这个模板，系统将自动产生当前输出token与前一个输出token(bigram)的组