文本信息处理技术的研究和进展.pdfVIP

第is届全国计算机信息管理学术研讨会论文集 和标准的产生中，其完备性经常不被严格证明，所以许多规则和标准是很烦琐和可变通的 是〔在一定程度上的更改而不是等价的转换)。在以人作为信息传输和处理中间过程的信息 过程中。由于有人的介入而使相应规则和标准涉及对人 (这个复杂系统)的约束和评价， 往往将会使很多简单的问题复杂化。 信息的每一次转化都要有势的投耗，尤其是用人来转化和传输。由于语言表达的不完 备性，使信源的信息有很大程度的损失;思考的有限和不完全，使决策的波动很大，即使 在操作上联贯.这个联贯也未必是正确的:并且是低效率的。谈判者的误解、不良的品行、 理念的差异都会对该次交易 (物质或能量的转化)造成很大的负势差，甚至导致整个过程 的失败。其实在许多信息过程中，我们都能对该过程设置出完备的约束和有限的评价参数， 并且比以往使用的方式有效。 3.总结 在进入信息时代的过程中.我们会面临众多己出现的问题和即将出现的问题。我们逐 渐体会到信息时代并不只是一个 “千里眼”和 “顺风耳”的时代，而是一个科学的感知的 时代。我们目前还很难完全驾驭信息工具。在不断用信息技术为人类服务的同时，我们也 要不断用信息理论来武装自己的头脑。从而发挥信息技术的优点并解决其中的问题。这不 只是基础理论研究人员的责任，也是找们每个希望优质信息服务的人的责任。 参考文献 (日H.哈肯 (西德)，协同学，原子能出版社，1984年2月。 (2〕杨向群 著，可列马尔科夫过程构造论，湖南科学技术出版社，1981年6月。 文本信息处理技术的研究与进展 赵丹群. 徐学文 “ (a北京大学信息管理系。100871b北京167信箱，100036) 【摘 委】随着网络的飞速发展，文本信息处理领城近年来获得了前所未有的进步，其 研究领域也在不断拓展，出现了许多新的研究分支.本文通过大贡的文献调查与 整理，对该领域内若干重要研究分支 (如文本摘要、文本分类、文本浏览与可视 化、文本过滤、文本挖掘、文本检索等)的研究现状、技术方法、试验与应用等问题进行 了分析与探讨，最后得到了几点基本结论. 【关健词1f-本处理 文本摘要 文本分类 文本浏览与可视化 文本过滤 文本挽掘 文 本检索屯 第 238页共 301页 第15届全国计算机信息管理学术研讨会论文集 1.引言 文本信息的基本特征可以概括为抽象、离散、较少冗余。作为计算机处理的一类主要 数据对象，文本类信息自身在过去的五十余年间经历了许多发展和演变。在网络化环境中， 尤其是最近10余年时间里，文本信息及其处理技术的进步和拓展更为迅速。主要表现为: 从过去的结构化文本到当前的大容量、无结构或半结构化文本;从传统的线性文本组织技 术到新兴的超文本链接技术:从平面文档到具有一定层次结构的非平面文档:等等。文本 信息处理技术的研究和试验环境也经历了从脱机到联机、从单机到网络、进而又从集中式 网络到当前分布式、异构性和动态的Web网络环境的不断转移和跃迁。可以说，Web的出 现为文本信息处理提供了一个前所未有的实验环境和应用舞台，而随之而来的文本信息的 大容量、异构性、分布性和动态性也给该领域的研究和试验带来了新的挑战和研究课题。 本文拟通过对一系列相关文献的阅读和整理，对最近10余年来文本信息处理技术的现状和 发展趋势进行总结和探讨，讨论的侧重点可能会较多地涉及到Web技术环境。 2.文本信息处理若干重要领域的研究进展 2.1文本摘要 (TEXTSUMMARIZATION/AUTOMATICABSTRACTING) 文本摘要研究最早始于50年代末期，1958年IBM公司的研究人员H.P.Luhn发表了 第一篇有关计算机自动创作文献摘要的论文。此后文本摘要研究作为计算机应用的一个重 要领域进入了实验和实用阶段，但是文本摘要真正卓有成效的研究和发展是最近10余年的 事情。目前，文本摘要的研究方法主要有两类: 2.1.1基于统计的文本摘要研究 早期的文本摘要研究主要基于统计方法。通过对字频、词频等的统计，利用一定的加 权方法，从文献中确定重点词语、自然句或段落，然后形成文摘。这类系统的主要特点是 不受领域限制，运算速度快，但文摘的质量不高。仅以中文文摘系统为例，有代表性的做 法有: ★通过少量的预