针对需求缺陷检测任务的自然语言需求数据集评估.docxVIP

针对需求缺陷检测任务的自然语言需求数据集评估

目录

针对需求缺陷检测任务的自然语言需求数据集评估（1）．．．．．．．．．．4

内容概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.2研究目的．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.3文档结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

需求缺陷检测任务概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

2.1需求缺陷检测的定义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.2需求缺陷检测的重要性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.3需求缺陷检测的挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

自然语言需求数据集评估方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

3.1数据集构建原则．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

3.2数据集评估指标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

3.2.1精确度．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.2.2召回率．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.3评估流程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

针对需求缺陷检测任务的自然语言需求数据集．．．．．．．．．．．．．．．17

4.1数据集描述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

4.1.1数据来源．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

4.1.2数据规模．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

4.1.3数据分布．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

4.2数据集特点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

4.2.1缺陷类型多样性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

4.2.2缺陷描述复杂性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．24

4.2.3缺陷定位准确性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

数据集评估结果分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

5.1指标分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

5.1.1精确度分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

5.1.2召回率分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．30

5.1.3F1分数分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31

5.2结果讨论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

5.2.1结果的稳定性和可重复性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．33

5.2.2结果对模型性能的影响．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34

数据集评估的局限性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．35

6.1数据集的代表性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．36

6.2评估指标的局限性．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．37

6.3评估流程的改进方向．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．38

针对需求缺陷检测任务的自然语言需求数据集评估（2）．．．．．．．．．39

一、内容描述．．．．．．．．．．．．．．．