语料格式要求.pdfVIP

语料格式要求

语料格式要求

1．原始语料的电子文本。

文件夹名用来表示课文的出处

文件夹名称格式：地区_出版商_出版时间_

版本代号_学科代号_年级

如：cn_rj_20XX_6_yw_6

文件夹名语义：中国大陆/人民教育出版社

/20XX年出版/第六版/语文/六年级的语料。

文件以课文为单位存放在相应的文件夹下

课文以第几册第几篇为名保存。格式：第几

册_第几篇.txt

如：1_

表示该课文是某文件夹下（某出处）的“第

1册/第10篇课文”的文本。

2.切词校对后的文本文件。即对原始语料

分词并校对后的文本。存放格式同1，只是

文件夹和文件名后分别加字母q。如：

cn_rj_20XX_6_yw_6q表示是存放“中国大

陆/人民教育出版社/20XX年出版/第六版/

语文/六年级的切分语料”的文件夹。

1_表示是“第1册/第10篇课文”的切分文

本。

3.初始库

词目语料

库名为：地区_出版商_出版时间_版本代号；

表名为：学科代号_年级；

内容模式为：词条词性文件名。

即每个出版社每个版本建一个库，每个学科

分年级建表，表下存放词条等。

如：

词条词性文件名

中国n1_

………………

其中文件名就是词或句子所出现的课文文

件的名称。

句子语料格式

库名为：地区_出版商_出版时间_版本代号；

表名为：学科代号_年级；

表模式为：句子单句|复句句

型文件名。

即每个出版社每个出版时间建一个库，每个

学科分年级建表，表下存放词条或者句子等。

如：

编号句子单句|复句句型文件名

1列车已到了北京。d陈述句1_

2他的家遭到了炸弹的袭击，他的生活和

他一家人的生活受到威胁，但他决不退

缩。f0

3你真聪明！d感叹句

…………

其中文件名就是词或句子所出现的课文文

件的名称。句型只标注单句，复句一律标0。

每篇课文每个句子指定一个编号，编号体现

句子在原文中出现的顺序。

4.结果数据表

词语统计表：包括词条、词性、使用频度、

出现文本数

如：

词条词性频度出现文本数

中国n5000300

………………

句型统计表：

句型句型频度出现文本数

陈述句1010

………………