大数据时代索引与数据库技术的发展与创新.ppt

第二，传统的索引理论的研究仍然占据重要地位。国内外学者对传统索引理论的研究仍然非常重视。相对而言，国外学者的理论研究更具全面性和系统性。 第三，索引的应用研究将成为索引研究中的重要内容，国外的应用研究相对国内更为广泛。国外对索引的实践与应用的研究已经深入到了引文分析、文献计量学、科学计量学、评价、绩效评估、医学等多个具体领域。 第四，与其他学科相结合开展研究可能成为未来索引研究的发展趋势之一。在索引研究的过程中注重与其他学科的结合，一方面可以引入新的理论与方法，如社会学、本体、知识地图、元数据等，为索引理论和方法的研究带来新的视角；另一方面，索引的方法与研究成果也可以应用于其他学科，为促进其他学科研究的发展做出贡献。 此外，自从改革开放到现在，我国的索引从业人员数量一直在稳步增加，这一方面与国家重视图书馆的建设有关，另一方面也是索引事业发展的需要。 但是我们与国外相比，索引事业的从业人员仍然数量偏少，素质有待提高。特别是在索引教育方面，我们取得的成绩还不够，比如我们至今没有一本公认的比较权威的索引学教材。 3.2 数据库事业的发展现状 数据库（Database）是按照数据结构来组织、存储和管理数据的仓库。 相对于索引事业，数据库事业的发展更为迅猛。目前，全世界大约有书目型数据库、参考型数据库、参考文献数据库、全文型数据库等几十种不同类型的数据库。各种数据库的具体数量更是难以估计。 1980年以前，数据库技术的发展，主要体现在数据库的模型设计上。 进入90年代后，计算机领域中其它新兴技术的发展对数据库技术产生了重大影响。数据库技术与网络通信技术、人工智能技术、多媒体技术等相互渗透，相互结合，使数据库技术的新内容层出不穷。 至今，数据库的许多概念、应用领域，甚至某些原理都有了重大的发展和变化，形成了数据库领域众多的研究分支和课题，产生了一系列新型数据库。如：分布式数据库、联合数据库、大规模并行处理数据库等。 国外数据库的发展大致经历了四个阶段： 1970年以前为初步发展阶段； 1970-1980年数据库数量迅速增加，开始进入联机检索阶段； 1980年至2010年数据库数量剧增，类型也发生了巨大变化，而且开始全球化，是数据库的深入发展阶段； 2010年至今，数据的类型和数量均发生了重大变化，数据库也必须随之发生改变，于是进入了变革发展阶段。 我国数据库的研究和应用相对国外来说，起步较晚，也可以大致参照国外的发展状况划分为四个时期： 介绍学习时期（70-80年代）、初步发展时期（80-90年代）、稳定发展时期（1990-2010年）、变革发展时期（2010年至今）。 总的来说，国内外的数据库技术发展非常迅猛。 分析我国数据库建设现状，目前仍处于较低的发展阶段。 虽然已经建立了种类众多的数据库，全国各高校的计算机和信息管理专业都开设了数据库课程，数据库、商业数据库的建设和使用越来越广泛。 但是，我国的数据库建设仍然普遍存在以下一些制约因素： 政府缺乏统一的整体规划； 各地的信息机构对数据库的建设不够重视； 数据库的技术发展仍滞后于国外； 商业数据库的建设和应用不够广泛； 数据库技术人员的素质还有待提高等。 而在国外，从六十年代末期开始，数据库系统的研究和开发已经走过了四十多年的历程，取得了辉煌的成就，形成了庞大的产业。 数据库技术和系统已经成为世界各国信息基础设施的核心技术和重要基础。 进入大数据时代，当我国还在研究大数据的概念时，英国的维克托?迈尔?舍恩伯格早在2010年就在《经济学人》上发布了长达14页对大数据应用的前瞻性研究，已写出了《大数据时代》这本对大数据系统研究的先河之作，并被誉为“大数据商业应用第一人”。 4.1 面临的挑战 大数据对于索引和数据库事业而言，既是巨大的机遇，又是巨大的挑战。面对海量的种类繁多的半结构化和非结构化数据，从中迅速的进行分析，找出有效的价值，这一方面具有重大的经济意义，另一方面也要求我们必须改进现有的技术，使用新方法来从数据中提取价值。 大数据时代对索引和数据库事业提出了如下的重大挑战： （1）理念更新。大数据带来的是一种全新的模式，索引和数据库的观念也要随之跟随变化，以适应时代的需要。同时要更加注重商业思维，充分利用大数据，获取经济利益。 （2）及时有效。大数据时代的数据产生迅速，数据的价值生命周期却很短暂，如何能够及时有效的从数据中发现商机并付诸行动才能获取价值。 （3）集成分析。如果将分析集成到与数据所面临的环境中，将加快信息分析的速度，使分析结果能够更快的实现可操作化。 （4）可扩展。面对大数据必须采取新方法来处理数据，要实现从规模较小的数据集到大规模数据集的分析，因为我们不能控制所面临的数据源产生数据的规模。 4.2 技术的创新 目