国学大数据时代来了.docVIP

国学大数据时代来了 访谈嘉宾： 　　赵敏俐 　　孙茂松 　　张　涛 　　尹小林 　　特邀主持人： 　　杜晓勤 　　主持人：21 世纪进入第二个十年，信息技术得到突飞猛进的发展。我们正在进入一个全方位的“大数据时代”，呈现出从“云计算”到“大数据”的发展趋势。这个发展趋势不是虚空的，而是正在对社会生活和学术研究产生着实实在在的重大影响。今天在座的都是中国古籍数字化事业的参与者和见证人。我们希望通过这样一个小型的讨论，与广大读者一起分享各位关于古籍整理与国学研究如何应对“大数据时代”问题的思考。 一 　　赵敏俐：“大数据时代”已经降临了。它表现在各个领域，不仅仅是生产领域，还包括知识领域。“大数据时代”是一场革命，它不仅会促进经济发展、科技进步，在文化领域也会起到巨大的作用。十七届六中全会《关于深化文化体制改革、推动社会主义文化大发展大繁荣若干重大问题的决定》明确提出：“要加强文化典籍整理和出版工作，推进文化典籍资源数字化建设。”我们应站在“大数据时代”这样一个新的高度，来理解和认识中央推进古籍数据化事业的战略意义。 　　主持人：赵敏俐教授，您是倡导古籍数字化的重要学者，而且已经主持研制了一些古籍数据库。请问您对“大数据时代”之“大”是如何理解的？ 　　赵敏俐：我想，“大”应该包括两个方面的内容。首先是规模上的“大”。按尹小林的提法，几百万到一千万字的数据库算是小型数据库；几千万到一亿字的数据库算是中型数据库；从一亿字到十亿字算是大型数据库，超过十亿字以上的应该算是超大型数据库。 　　另一方面是功能上的“大”。功能的强大是超大规模古籍数据库很重要的标志。怎样才能算功能的强大？到目前为止，我们虽然已经做了很多古籍数字化的工作，比如把古籍做了一般的简单扫描，入库后也可以进行一般的查找，实现了一部分功能，但这个功能和我们想做的超大规模古籍数据库还有差距。按照我的理解，超大规模古籍数据库应该有这样几方面的特点：第一，因为它有超大规模的数据量，其中文献种类和内容都非常丰富，有更大的包容性。和过去中小规模数据库只是某一个类别、某一个专题的内容相比，通过这样的数据库进行综合整理之后，可以把更多更丰富的信息汇集在一起，可以获得更多、更全面、更准确的资料，为研究者提供更多的便利。第二，超大规模古籍数据库的建设因为有更多技术层面的支持，所以能够实现更多的功能，如对古籍的自动识别、自动标点、自动排版、智能检索、智能分析，可实现多种数据格式的转换和输出，可以满足文、史、哲、经各学科研究所提出的各种特殊需要，更能适应跨学科综合研究的高级需要。只有具备了这样两个特点，才能称之为超大规模古籍数据库。 　　为什么“大”就会带来一些功能上的突破呢？比如说，关于“中国古代诗词韵律的发展状况”这一研究课题。一直以来，我们的理想是把先秦、两汉、魏晋南北朝到唐宋时代每一首诗、每一首词的每一个字的读音、声调、韵部等全都统计出来，由此再考察中国古代诗歌声律的发展，弄清它们之间的变化。这在过去是不可能做到的。现在有了中国古代诗歌文本和古代汉语音韵数据库，这样的工作就可以做了。超大规模古籍数据库的建设，可以使得学者们从那种非常繁重的翻检古书的劳动当中腾出更多的时间，发现前人未能发现的课题，或者前人虽已发现但囿于精力和技术条件未能研究的课题，进行更多的创造性劳动。将人文社会科学的研究和现代科学技术手段完美结合起来，是未来的发展方向。超大规模古籍数据库所带来的功能是不可比拟的，对于学术的发展和人文学科的建设的推动都是巨大的。 　　再比如，《二十四史》的标点。这项工作从上世纪五十年代末开始，先后参与的专家学者上百人，历时20年才得以完成。如果用同样的传统人工方式，来标点总字数是《二十四史》25倍的《四库全书》，同样人力需要工作500年时间，这显然是不现实的。今天就不一样了，借助于现代技术手段来标点，效率可以提高50倍以上。也就是说，最多10年就可以完成《四库全书》的标点整理工作。而且在这期间，技术还会不断进步，时间因此还会缩短。我们预计，用5到8年把这个工作完成，是有相当把握的。 　　孙茂松：利用现代信息技术，将传统文化典籍以数字化“大数据”的形式保留下来，并且发扬光大，正在日益引起许多国家，特别是发达国家的重视。一个典型的例子是，由哈佛大学、麻省理工学院、Google和大英百科全书的专家学者组成的一个研究小组，2011年1月在著名的《科学》杂志发表了一篇题为《基于数以百万计数字化图书的文化定量分析》的文章。该项工作利用Google Books中数字化质量比较高的超过500万种图书，时间跨度从公元1500年到公元2000年，规模总计5000亿词，其中英文3610亿词、法文450亿词、西班牙文450亿词、德文370亿词、中文130亿词、俄文350亿词，以及希伯