数字图书馆视野下Web信息资源及相关问题探讨.docVIP

数字图书馆视野下Web信息资源及相关问题探讨 　　［摘要］网络技术的发展，涌现了大量的Web信息资源。Web信息资源还不能成为严格意义的数字图书馆。Web信息搜索引擎是用户查询和访问Web信息资源的主要方式。现有的搜索引擎在使用过程中还有诸多亟待解决的问题：搜索结果往往会远远超过一个人的阅读能力；搜索结果的排序是不透明的；Web信息资源的可靠性得不到完全保障等。网络百科是一种非常重要的Web信息资源，也是用户获得Web信息资源的另一种重要方式。 　　［关键词］数字图书馆 Web 搜索引擎 　　［中图分类号］G250.76［文献标识码］A［文章编号］2095-3437（2014）13-0082-03 　　一、引言 　　数字图书馆就是以数字形式贮存和处理信息的图书馆，是将计算机技术、通讯技术、微电子技术等融合为一的信息服务系统。[1]它针对有价值的图像、文本、语音、影视、软件和科学数据等多媒体信息进行收集、组织和规范加工，不再是传统图书馆以纸介质或其他非数字介质为存储载体。它利用现代先进的数字化技术，将图书馆馆藏文献数字化，通过国际互联网上网服务，供用户随时随地地查询，使处在不同地理位置的用户能够方便地利用大量的、分散在不同贮存处的信息。只要在有网络覆盖的地方，就可以随时随地地查询资料、获取信息。通俗地说，数字图书馆是因特网上的图书馆，是没有围墙的图书馆。大量的数字化资源是数字图书馆的“物质”基础。数字图书馆是数字信息时代传统图书馆的拓展和延伸，在媒体丰富的当今社会生活中扮演着极其重要的角色。 　　毫无疑问，万维网（WWW）上的大量Web信息资源正影响着我们的工作、生活、学习，甚至思维。人们可以通过搜索引擎或直接访问熟知的网站来获取Web信息资源。Google、Bing、Yahoo、百度、搜狐等都是我们熟知的Web信息搜索引擎。然而，在使用搜索引擎查找Web信息时，往往会得到远远超过一个人阅读能力的大量匹配记录，而用户实际阅读的仅仅是前面几页非常有限的匹配记录；其次，搜索结果的排序是不透明的，可能是按付费的多少来排序，可能是根据点击率的多少来排序，也可能是根据误导用户的某些因素来排序等等；再次，Web信息资源的可靠性得不到完全保障。 　　Web信息资源的混杂性和不可靠性决定了Web信息资源还不能视为严格意义下的数字图书馆。如何检索出可靠的Web信息资源？Web信息资源如何成为严格意义下的数字图书馆？这些都是我们在Web信息资源建设和利用中需要关注的问题。[2]本文从数字图书馆角度，对Web信息搜索引擎等相关问题进行讨论。 　　二、Web搜索引擎 　　用户从大量的Web信息资源中获得自身期望的信息，有赖于使用Web信息搜索引擎。Google、Bing、Yahoo、百度、搜狐等都是用户经常使用的搜索引擎。这些搜索引擎在查询Web信息资源时会遇到各种各样的问题。使用搜索引擎遇到的最明显问题是，搜索到的信息量太多不便于用户使用。此外，许多搜索结果相互之间非常相似，亦即，冗余度太高。最糟糕的情况则是，不同结果之间有可能是矛盾的。 　　对于冗余度，未来的搜索引擎最好能够自动聚集相似的结果，甚至将结果集聚成一个连贯的文档，这样用户只需要面对有限量的群集，甚至具有内容述评标签的文档。研究人员发现，通过相当简单的相似性识别算法或者内容重复检测算法，可以将某些Web信息资源中的冗余度减少75%。[3]具体来说，50个论题的20篇文章在没有丢失任何信息的情况下，可以减少为平均每个论题6.3篇文章。仅有的代价是不能保证所有的文献资料阅读起来都像原稿那样连贯和通顺。明显减少冗余度（不是75%而是99%）并保持文献连贯（亦即，从搜索到的大量信息片断中创建出连贯文献），现在听起来还是有点像科幻小说。然而，这是搜索引擎当前面临的最大挑战，问题的解决取决于文本语料库语义分析方面能否获得重大突破。目前，已能够实现聚集相似文档（采用矢量字方法等）和自动给出一个群集的摘编。可视化技术可以给出文档群集间关系的生动描述。遗憾的是，大量的搜索引擎还没有采用这一技术。值得注意的是，Google知识图（Google Knowledge Graph）已在此方面进行了尝试：在查找一个文档时，显示了与其相关的文档。Google利用了历史查询的丰富信息，但缺失了一个重要方面：知识图中的边没有与之相关的元数据。因此，并不能直接看出，一个节点是否支持、矛盾或回答一个问题，等等。 　　对于大量的检索信息，目前搜索引擎主要通过排序或个性化来减少提供给用户的信息数量。排序是一个重要问题。排序算法通常是不公开的，由此会带来许多问题。比如，如果条目A排在条目B的前面，它可能确实因为具有更高的点击率，或者，条目A较之于其后的条目同搜索引擎商有较好关系，也可能是条目A支付了有优先处