基于自然语言理解的在线答疑系统设计与实现.docVIP

基于自然语言理解的在线答疑系统设计与实现 　　摘 要： 基于自然语言理解的相似度计算仍是计算机语言处理技术尚需深入研究的内容。通过在“知网”知识表示的基础上，综合考虑深度和密度两方面的影响因素，利用一种较为成熟的改进的多因素语义相似度处理算法，基于全文检索匹配技术，设计并实现了一个限定领域内的在线答疑系统。实例运行结果表明，系统可靠性较高，且答疑效果较为明显，达到了预期目标。 　　关键词： 自然语言理解； 语义相似度； 全文检索； 在线答疑系统 　　中图分类号：TP399 文献标志码：A 文章编号：1006-8228（2015）05-10-03 　　Abstract： The similarity calculation based on natural language understanding is still a research content of the computer language processing technology. Based on the knowledge representation of HowNet， considering the both factors of depth and density， by using a more sophisticated multivariate semantic similarity algorithm， and with a full-text search matching technology， an online answer system in the limited field is designed and implemented. The experimental results show that， the system is reliable， the answer effect is more obvious， and the desired goal is achieved. 　　Key words： natural language understanding； semantic similarity； full text retrival； on-line answer system 　　0 引言 　　随着计算机网络技术的飞速发展，传统的教学手段已不能满足当前大信息量的教学内容需求，因此，创造一个在教师指导和引导下学生自主式学习的智能系统平台很有必要。智能的网络答疑系统可以利用自然语言处理技术对学生的疑问进行自动匹配处理，它的出现为网络教学提供了交互的情境，成为支持网络教学顺利进行的重要条件。智能网络答疑系统是传统课堂教学的重要补充，并逐渐在学生学习、认知、再学习这样一个闭环的学习过程中发挥着举足轻重的作用[1]。 　　1 设计思想及算法原理 　　基于计算机自然语言处理技术，充分利用校园网络资源，通过人机互动等丰富信息表现形式，实现一个智能的、高效的基于自然语言理解的专业课程自动答疑系统。系统设计的关键是如何实现快速、高效的智能搜索答案。该过程实际上类似于一个搜索引擎，其核心就是构建一个结构合理、具有完整丰富内容的知识库，并能够在自然语言理解的基础上，快速、准确的完成自动答疑工作。基于自然语言理解的在线答疑系统中两个关键技术分别是：中文分词技术和相似度计算。 　　1.1 中文分词技术 　　自然语言理解（Natural Language Understanding，简称NLU）研究如何让计算机理解和运用人类的自然语言，使得计算机懂得自然语言的含义，并对人给计算机提出的问题，通过人机对话（man-machine dialogue）的方式，用自然语言进行回答。为了使计算机系统能够较好地理解用户提出的问题，首先需要对问题进行处理，这一过程最先用到的最为关键的技术就是分词技术【2，3】。由于中英文之间的语言组织、词法结构不同，使得中文分词一直以来成为制约中文自然语言处理的主要因素。而中文文本中，只是字、句和段之间可以通过明显的分界符来简单划界，词与词之间没有天然的分隔符，中文词汇大多是由两个或两个以上的汉字组成，并且语句是连续书写的。这就要求在对中文文本进行自动分析之前，先将整句切割成小的词汇单元，即中文分词（或中文切词），相比英文语句处理，中文分词难度更大。 　　从算法处理上看，目前主要有三种【4-6】：一是基于词典的分词方法，它使用机器词典作为分词依据，分词效率高，目前应用范围较广；二是基于统计的分词方法，它是利用统计方法，通过对大规模文本的统计，让计算机自动判断的方法，该方法使系统资源开销较大；三是基于人工智能的分词方法，如专家系统和神经网络分词方法等，这类方法目前尚处于实验室阶段，尚未