关于历史报刊数字化调查研究.docVIP

关于历史报刊数字化调查研究 　　研究背景 　　媒体的核心价值体现在内容及其传播上。《大众日报》作为我国连续出版时间最长的党报，自1939年1月1日创刊以来，已经连续出版了70多年。在1996年实现电子报之前，有近60年的历史纸质报刊没有数字化，而且早期的珍贵版本也因为纸张老化严重，只能封存在档案室，无法公开检索，也妨碍了山东省相关历史专题资料的深入挖掘工作。而历史报刊数字化技术则可以在充分保护历史资料的前提下，将历史报刊原始风貌、文章和图片通过计算机和网络展现在屏幕上，为想了解新闻历史的读者带来便利；另外，通过数据挖掘，还可以整理出更有价值的新闻专题资料。 　　2011年，大众报业集团确立了“《大众日报》历史报数字化项目”，并成立了专门的项目组具体负责实施，围绕集团历史报刊数字化的相关问题进行了一系列调研。本文对历史报刊数字化的最新技术进行了研究和探讨，主要内容包括纸质报刊及胶片扫描、OCR识别和校对、元数据抽取与标引、PDF构建技术等方面。 　　历史报刊数字化流程概述 　　历史报刊数字化技术与最近十多年普通的报刊数字化技术不尽相同。自从报业实现数字化工作流程以来，报纸的采编发排都采用计算机技术，其信息已经实现了数字化，而历史报刊由于早期使用铅字印刷或者石印、油印等，没有对应的数字信息，因此需要通过相应的技术手段将纸质信息数字化提取到计算机当中。 　　历史报刊特别是早期报纸是历史文档的重要资料，虽然人们对报纸的格式十分熟悉和认可，但从数字化处理的角度来看，报纸的格式是相当复杂的：文章长短不一，早期报纸有竖排版面、繁体字等，字体也不是当代的标准化字库里的字体，有照片图表，长篇的文字分布在不同的版面或页面中。另外，早期报纸的印刷质量和纸张质量不是很好，随着时间推移，有的字体可能会模糊，纸质会变得非常脆、易碎，难于处理，还有一些报纸只能在缩微胶片上找到。所有这些因素都使历史报刊的数字化面临很多困难，需要进行一些特殊处理。 　　目前，历史报刊数字化有比较标准的制作流程和技术工艺，不同的厂商可能会有自己的特点，不过制作流程一般会包括以下几个步骤： 　　1.报刊的清点。按照日期、版面清点数量，确认其完整性、可识别性、可扫描性。由于报刊一般都有一定的发行量，不止一个复本，应尽可能寻找最佳的一份，如果现实中找不到可用的报刊实体，可以用缩微胶片替代。 　　2.扫描和修图。利用大幅面扫描仪扫描纸质报刊，用胶片扫描仪扫描缩微胶片。对扫描得到的TIF图片进行修正，去除污渍、裂纹等。 　　3.OCR文字识别与校对。OCR（光学字符识别）是一种通过计算机自动识别图片上文字的技术，标准印刷汉字的OCR识别正确率可达到99%以上。由于早期报刊印刷技术简单和保存环境的原因，识别率可能稍低一些，需要进行多次校对以保证最终的质量。校对包括人工校对和智能化自动校对。 　　4.版面分析和划分。将修正后的版面扫描图片按照主题文章进行区域划分和标识。 　　5.制作版式文件。根据步骤2、3、4得到的信息制作可检索的数字版式文件，比如PDF等。 　　6.数字数据验收。对上述步骤得到的文字、图片、版式文件等数字数据进行再检验，以确保完整性和正确性。 　　7.数据入库。文字入全文数据库，图片入图片数据库，版式文件入版面数据库，三种数据库是相关联的，可以联合检索。 　　8.建立双平台检索系统。一般采用B/S架构，用户通过浏览器即可检索上述三种数据库。 　　经过上述步骤的处理加工后，最终的产品是一个完整的系统，其中包括：包含全部报刊文字和元数据的全文数据库、包含报纸照片和版面扫描图片的图片、可检索的PDF版式文件、基于B/S架构的双平台检索系统等。此外，为了支持高质量的再印刷，也包括修正后的版面扫描TIF图片。 　　历史报刊数字化关键技术研究 　　历史报刊数字化的关键技术包括： 　　1.图像获取：主要通过扫描，包括纸质扫描和胶片扫描等。 　　2.OCR文字识别与校对、版面分析和划分等：将修正后的版面扫描图片按照主题文章进行区域划分，目前有自动识别主题文章区域的技术。 　　3.元数据抽取和分类标引：文章的元数据抽取包括对文章主题、副题、引题、作者、来源、关键词、摘要、引文、外部特征等信息的自动识别和自动抽取；分标引类是按照国家新闻标准分类法对文章进行分类标识。 　　4.全文数据库和图片数据库：全文数据库是实现全文检索的数据库系统，为按关键字检索整篇文章带来很大便利；图片数据库一般按照文件存储、按照标引检索。 　　5.数字版式文件的制作、检索技术：制作数字化版式文件是为了能够展现历史报刊的原始风貌，使读者能直观地感受到是在阅读一份早期的报刊，更具有视觉震撼力。目前报刊的数字版式文件一般采用Adobe的PDF格式，根据扫描图像制作成可检索PDF一般采用双层和重构技术。 　　下面进行更详