CRF理论、工具包的使用【荐】.pdfVIP

CRF理论、工具包的使用及在 NE上的应用 廖先桃 2006.4.6 信息检索实验室 信息检索实验室 提纲 CRF理论 CRF工具包的使用 基于CRF 的NE识别 下一步工作 信息检索实验室 信息检索实验室 CRF理论 CRF是Conditional Random Fields 的缩写，即 条件随机域 CRF理论相关PPT 由赵世奇友情赞助☺ 信息检索实验室 信息检索实验室 提纲 CRF理论 CRF工具包的使用 基于CRF 的NE识别 下一步工作 信息检索实验室 信息检索实验室 CRF工具包的使用 CRF工具包 /doc/ java 写的CRF工具包，有很详细的说明文档。 FlexCRFs: Flexible Conditional Random Fields 作者:Xuan-Hieu Phan 和Le-Minh Nguyen C++语言实现 下载地址：http://www.jaist.ac.jp/~hieuxuan/flexcrfs/flexcrfs.html CRF++: Yet Another CRF toolkit C++语言实现，有windows下运行的exe程序以及Linux下运行 的版本 下载地址：/~taku/software/CRF++/#features 信息检索实验室 信息检索实验室 CRF++ 的使用(1) CRF++ 的安装 训练语料的格式 特征模板的格式 训练模型 识别 评测 信息检索实验室 信息检索实验室 CRF++ 的使用(2) CRF++ 的安装 编译器要求：C++编译器(gcc 3.0或更高) Linux安装命令(依次执行) ： 注意：必须具有root帐号才能安装成功 信息检索实验室 信息检索实验室 CRF++ 的使用(3) 训练语料的格式 训练和测试文件必须包含多个tokens 每个token包含多个列 token 的定义可根据具体的任务，如词、词性等 每个token必须写在一行，且各列之间用空格或 制表格间隔 一个token 的序列可构成一个sentence，sentence 之间用一个空行间隔 信息检索实验室 信息检索实验室 CRF++ 的使用(4) 训练语料的格式这是一个token 每个token包含3列，分别 为词本身、词性和Chunk 标记 这是一个句子 句子间用空行间隔 信息检索实验室 信息检索实验室 CRF++ 的使用(3) 特征模板的格式 模板的基本格式为%x[row,col] ，它用于确定输 入数据中的一个token 其中，row确定与当前的token 的相对行数。col 用于确定绝对列数。 信息检索实验室 信息检索实验室 CRF++ 的使用(3) 特征模板的例子 训练语料 col0 col1 col2 r-2 r-1 r0