大数据背景下信息服务和信息系统创新思考.docVIP

大数据背景下信息服务和信息系统创新思考 　　摘 要：信息服务和信息系统的基础是数据，本文从大数据时代数据本身呈现的新特征和新趋势入手，对信息服务和信息系统的新发展、新变化和新应用进行了探讨，并重点分析了目前比较成熟的面向具体应用的大数据信息系统实例，阐明了大数据带来的深刻价值和深远影响。 　　关键词：大数据；信息服务；面向应用；数据可视化 　　中图分类号：TP311 　　根据国际数据公司（IDC）2011年的调查报告称，当年全球被创建和被复制的数据总量超过1.8ZB，并且遵循每两年数据量大约翻一倍的定律，在2020年全球数据总量预计达到35ZB。短短数十年间，数据单位从KB呈几何级数递增一路攀升，越过MB、GB、TB、PB、EB，直至ZB、YB。仅从此就可以看到大数据时代已经到来，信息技术的飞跃发展和信息应用模式的更新换代，使得全球数据量爆发式增长，并且在更深层面改变了人类社会未来的面貌。 　　1 大数据时代对信息服务和信息系统的挑战 　　大数据，从字面上理解即大规模数据集合，但其内涵和外延已经远远超出了技术领域，成为一个具有丰富深度和广度的时尚icon。在大数据背景下，信息数据“翔实全面得让我们能做些全新的事情”，既有把握海量信息，信息爆炸的机遇，也要面临信息冗余，信息孤岛的挑战。 　　在信息服务和信息系统领域，大数据信息技术在底层能够将有序有价值的信息和知识挖掘，大数据信息管理面向更广阔的商务科技应用和经济社会活动，将信息真正作为一种资源优化配置，提高效率节约消耗，创造崭新的经济增长模式和利润来源。因此为了创造更高的社会价值和经济价值，优化和重构原有传统的数据模型，创新信息服务和信息系统服务模型，扩大开源的、共享的数据信息，对信息服务和信息系统领域提出了严峻的挑战。 　　2 大数据时代的新特征和新技术 　　2.1 大数据的特征和趋势 　　大数据有其显著的特征，它具有海量规模（Volume）、类型多样（Variety）、超速处理（Velocity）、高价值信息（Value）和信息可靠真实（Veracity）5大特点，即5V。在浩瀚的信息海洋里，面对视频、音频、图片和图形、文本等类型多样、结构复杂的大数据，快速高效地从中提取附加价值高、真实可靠地面向应用的信息无疑是非凡的考验。 　　与大数据相关的研究与应用目前还暂时处于起步阶段，指导实践研究的理论体系尚未完善，基于网络和社交媒体的信息服务和信息系统还在摸索建设中。大数据问题不仅仅只是数量上多少的变化，更是理念和研究方法的变革，将对信息的检索，分析、挖掘和可视化提升到了更广阔的层面。要利用好大数据必须注重多种数据结构的融合和多个信息系统的整合，必须面向应用提供智能化的决策信息服务和知识创新，必须针对用户的个性化、自适应性模式创新智识信息服务。 　　大数据发展的另一个重要趋势就是，它是面向应用的综合性信息系统。以目前最热门的互联网信息服务为例，大数据信息服务在面向消费者时，重点在于研发响应速度快，用户行为模式识别度高的系统，从而很快吸引住消费者甚至引导消费者；大数据信息服务在面向商家和企业时，重点则转变为对系统可靠性，网络平台独立性要求较高，因此面向大数据的数据库设计和构建就成为研发和应用的关键部分。 　　2.2 UGC与非结构化数据 　　传统信息系统以结构化的数据为管理对象，其底层一般都是是通过结构化数据建立起关系数据模型，结构化数据模型由数据结构、操作符、完整性约束三部分组成。通过概念模式、内模式和外模式的映射，使得使用者摆脱了数据库内部细节的制约，而专注于对数据库信息的查询应用上。这种方式使得信息服务和信息系统在事务管理方面有着便捷的优势，支持多用户并行访问具有良好的数据恢复与保护机制。 　　随着计算机网络的兴起，用户的日常数据也演变为大量UGC（User Generated Content），即“用户生成内容”数据。UGC是随着互联网兴起而产生的崭新概念，其核心是以个性化、原创为特点的互联网用户提供内容，其内容是由互联网用户自己挑选、编辑并处理成各种媒体形式，其受众是和提供者一样的网络上的其他用户。UGC带来了以用户为核心的互联网革命，用户通过下载和上传来传播信息，最终形成社区网络，视频分享，博客圈甚至手机用户群。 　　和传统的结构化数据不同，UGC以文本、表格、XML、图片图形、音频和视频等非结构化数据形式承载和表示信息，使得数据量以前所未有的速度剧增，同时数据内容、性质和结构也产生了根本性变革。在大数据背景下，数据存储和分析都不同于传统信息系统，而使得大数据信息系统逐步转变为应用驱动的易于开发和存储海量数据的软件平台，向用户提供高效低成本的高容量密集型数据存储和分布式并行数据处理，如著名的Hadoop框架等。在大数据的主要应用范围，信