中国自然语言处理白皮书.pdf

中国自然语言处理白皮书 中国人工智能学会 二○一五年十一月 中国自然语言处理白皮书 《中国人工智能系列白皮书》编委会 主 任：李德毅 执行主任：王国胤 副 主 任：杨放春 谭铁牛 黄河燕 焦李成 马少平 刘 宏 蒋昌俊 任福继 杨 强 委 员：陈 杰 董振江 杜军平 桂卫华 韩力群 何 清 黄心汉 贾英民 李 斌 刘 民 刘成林 刘增良 鲁华祥 马华东 马世龙 苗夺谦 朴松昊 乔俊飞 任友群 孙富春 孙长银 王 轩 王飞跃 王捍贫 王万森 王卫宁 王小捷 王亚杰 王志良 吴朝晖 吴晓蓓 夏桂华 严新平 杨春燕 余 凯 余有成 张学工 赵春江 周志华 祝烈煌 庄越挺 《中国自然语言处理白皮书》编写组 任福继 王小捷 黄河燕 孙茂松 靳光谨 周国栋 王明文 蔡东风 何婷婷 黄萱菁 常宝宝 王晓龙 黄德根 胡海青 于 浩 朱靖波 古丽拉·阿东别克 昝红英 吴 华 晋耀红 王厚峰 张玉洁 张桂平 谭咏梅 张克亮 全昌勤 孙 晓 陈清财 王荣波 卫志华 钟茂生 徐睿峰 邱锡鹏 沈李斌 张仰森 李 蕾 袁彩霞 1 中国自然语言处理白皮书 目 录 第1 章 引言1 第2 章 汉语切分2 2.1 汉语切分的性能2 2.2 汉语切分的问题4 2.3 小结6 第3 章 人机对话7 3.1 人机对话系统7 3.2 对话管理技术9 3.3 小结12 第4 章 总结13 第5 章 参考文献16 2 中国自然语言处理白皮书 第1 章 引言 近年来，随着自然语言处理技术的迅速发展，出现了一批基于自 然语言处理技术的应用系统，这些系统引起了大众的热议。例如，IBM 的Watson 在电视问答节目中战胜人类冠军，苹果公司的Siri 个人助 理被大众广为测试，谷歌、微软、百度等公司纷纷发布个人智能助理， 科大讯飞牵头研发高考机器人。这些应用的出现使自然语言处理一时 成为热点话题，人们对这些应用乃至应用背后的技术进行了各种各样 的评论。有的充满期待，希望未来自然语言处理技术能产生越来越多 有价值的应用系统；也有的表示担心，担心技术的发展会对人们自身 的工作机会造成冲击。 那么，自然语言处理当前的技术和应用状况究竟如何，已经取得 了什么进展、未来的发展会如何？人们的什么期待可能变成现实，什 么担心其实还没有必要呢？本白皮书力图对这两个问题作出部分回 应。 本白皮书首先对目前研究人员在自然语言处理技术及应用方面 主要做了什么、做得怎么样进行一些介绍。但是，本白皮书并不准备 也不可能做成一个自然语言处理领域的全面技术综述，而只是分别选 择自然语言处理领域的一个典型技术和一个典型应用进行介绍和分 析。之后，就如何认识当前以及未来的自然语言处理技术和系统给出 我们的观点。白皮书力求不用太多的专业术语，而是以较为浅显的语 言进行阐述。 全书的内容安排如下：在第二章是汉语切分技术的发展介绍和现 状分析，第三章是人机对话系统的发展介绍和现状分析，第四章是总 结，给出我