文本知識格提取小组汇报内容.pptVIP

文本知识格提取小组汇报内容 陈瑛 王嘉炜 凯秋雯 2014.11.16 对1975年到2012年的SIGMOD论文，利用PDFBox包进行部分函数的改写，实现文本知识格的提取与优化 文本知识格的范畴：定义(Definition)、算法(Algorithm)、举例(Example)、命题（Proposition）、引理(Lemma)、定理(Theorem) 小组任务 识别所有以Algorithm为算法 识别所有以Proposition为开头的命题 识别所有以Definition开头的定义 识别所有以Example为开头的例子 详细任务 定义 算法 举例 命题 错误举例 现阶段问题与解决思路 01 02 03 如何识别文本知识格的末尾 识别末尾标识符（句号等等） 如何消除存储到txt时产生的乱码 可以只考虑保证普通文本的正确性，特殊符号不考虑 如何消除分页导致的文本分割 图像可分开截取后进行拼接（可以因避免转换产生乱码）；另可以将论文首先转换为txt格式，识别出文本后在PDF中进行查找与截取 可行思路 寻找除了PDFBox之外的其他可用java包并进行比对与选择 将pdf转为word或txt以后进行识别，然后将文本单独存储为图片 将pdf转化为word以后乱码较少，将pdf转化为txt不会出现分页的问题 机器学习方法进行提取（时间充裕的话） 比较考验规则的完善性。但由于时间比较紧张，短期无法达到预期 01 02 03 11.16 12.20 11.30 12.31 进度安排 数据校对，保证数据的正确性 学习相关代码，找出现存问题，寻找更优的识别规则，设计相应算法 1.25 提取初步结果，并对算法进行进一步的修改 探索其他方法 学习代码，理解代码，并成功运行 搜集整理原始代码运行结果，统计提取的成功率，对各种错误进行分类，统计相应概率 思考更好的识别规则 下周任务 Thank You