一种基于神经网络的文本切分方法.pdfVIP

一种基于神经网络的文本切分方法 陈浪舟黄泰翼 中科院自动化所模式识别实验室，北京100080 ta．ac．cn omail：clz@prldec3 摘要 文本的自动分割是语言处理中的一个重要内容，它的主要目的是将大量的无分割标志的文本按 其主题切分为多段文本，每段文本都围绕一个主题且，段与段之间有明显的主题转换。该技术在语言理解， 文本自动索引，语言模型的建立等方面都有重要意义。本文以文本主题转换时的词汇突变为特征，提出 了一种基于BP算法的文本切分方法． 关键词文本切分，BP算法 Atext i basedon I method neura segmentng network LangzhouChen，TaiyiHuang Instituteof 100080 Automation，CAS，Beijing clz日prldec3．ia．ac．cn AbstractText is inNLPItdlvidedthecont【nue segmentingveryimportant textintomany 6 reIatedtoa Thereare segments．everysegment speoiaItopio evident between topicchange This s useful segmentstechnoIogyvery innaturaIlanguage textindexiand understandingng model etcⅥehave a ofteXt anguagebuiIding presentedmethod segmentingbasedonBP algorithm theburstcharacterofvocabuIinthe of using ary ohangetopio wordtext Key segmenting，BPaIgorithm 1．引言 文本的自动分割是自然语言处理的一个重要内容，具有广泛的用领域。例如：语言理 解，文本的自动分割可以认为是对文本结构的分析，因此对文本的理解有重要意义。文本 的自动索引也离不开文本分割，只有将文本按领域分割以后才能从中找出我们所需要的内 容。与自动索引相对应，文本分割的另一个用途是文本过滤。现代社会信息高度发达，各 种媒体，尤其是在internet网上传送的大量文本数据中，不可避免的含有一些糟粕成分，如 想将它们自动滤除，也离不开文本分割。因此研究文本分割具有重要意义。 本文的研究背景是建立一个适用于语音识别的，领域自适应的统计语言模型。由于我 们所处理的语料都是连续无切分标志的文本，囡此首要。任务就是将文本按主题切分为具 本研究得到国家自然科学基金支持(批准