大数据及系统运营管理.pdf

大数据与应用系统运营管理 大数据时代是信息时代新的起点，大数据概念是对思维模式的冲击， 大数据改变的是人们对于事物的常规理解思路，对社会理解提供了更为 广阔的信息空间和数据支撑；“大数据”对于应用系统的运营管理提出了 新的挑战，也提供了更好的机遇；大数据对于本单位的业务开展提供了 更好的机会：1、充分挖掘本单位现有数据，本单位每天各个系统产生的 数据约近100G，从交易数据到客户申请信息、客户服务请求信息等等， 这些数据并未完全被应用，我们已有的数据尚不能充分运用，更何谈外 部的社会数据，这些数据可以为活跃客户提供更佳的服务目标、市场目 标等，目前的数据分析还基于样本数据抽取的模式，与大数据的全本数 据要求有差距，是否能在数据分析上开拓云分析的模式；2、系统稳定是 业务开展的基础，大数据时代对系统的开发、运行、分析都提出了更高 的要求，现有的基础设施基本上都是基于传统模式的，为了适应大数据 时代，基础架构上是否可以思考别的方式，譬如分布式内存数据库等， 同时我们也缺乏对系统数据的收集分析工具；3、传统客户服务中心对于 每一个客户的服务内容都是一样的，而电销商城之类的，往往会记录每 一个用户在网站上的活动轨迹，并根据活动轨迹来分析客户近期对于商 品的购买意愿，并推送不同的服务给不同客户，我们的客户服务中心是 否也能根据客户的交易、请求等活动信息进行分析，为每一个客户定制 不同的服务。 大数据改变了人类的思维方式。互联网、移动、存储、计算能力等科 技的发展催生了“大数据”的产生，大数据的“大”是相对的，大数据 是指被数据化的信息，随着科学的进步，能够被数据化的信息会越来越 多，而目前只是数据爆炸时代的开始，就如同宇宙的发现一样。大数据 的概念，一方面反映了信息时代数据到了一个爆炸式突变的年代，一方 面也反映出人类对于这样一个突变年代的心理感知。无论如何，当下正 处于数据爆炸发展的起始阶段，正如同当年的工业革命、信息革命年代 开始一样，因此，思维模式的转变才是迎接大数据时代的根本。 社会数据化是大数据时代的标志，这个标志是随着互联网技术，特别 是移动互联网技术的发展而突出出来的，10 多年前互联网时代开始，在 网上冲浪的人数有限，特别是需要一定的空间和时间，还需要那么一点 点技术知识，能够在网上分享的数据已经很多，虚拟社区类的网站逐步 兴起，电子商务也慢慢改变着人们的传统供需手段，而智能终端最终成 为互联网技术的最有力推进器，越来越简单的上网方式使得更多的人参 与进来，虚拟社会的雏形已经形成，可以预见，未来社会必定会存在一 个实体社会和一个虚拟社会，而目前的各种移动社区、互联社区将成为 虚拟社会的起源并不断发展，若干科幻片中描述的场景将成为现实，而 这一切，都源于大数据时代，未来将证明，今天就是大数据的爆发点。 大数据时代的改变在于，越来越多、越来越复杂、越来越广阔的信息 将被数据化，数据化的方式各种各样，数据的社会化越来越完整，而因 为共享程度的放开，越来越多的人也将参与进来，这些数据被用于各种 各样的分析、应用，被不同的人进行加工、生产、改进、优化，传统样 本数据采集分析的方式将被抛弃，云端世界将提供我们全量数据分析的 基础，寻找有用的数据、提高数据分析及提取能力、加工数据的能力将 成为数据挖掘师的重要职责。犹如今天的矿产，拥有数据即拥有了最基 本的财产，但是光有矿产还不够，没有能力提取出来也一样会饿死，光 有能力提取还不够，还要提取的效率高、成本低、精度优，提取的有效 数据还要能被加工，形成更加有价值的物品。大数据的优点在于够大、 够广、够全，缺点也同样在于太大、太广、太全，发现、抽取、加工、 运用是大数据这一财富的运用主体，而如何加工、再加工、创造和使用 才是大数据的思想。 从实际工作中来看，IT 对于数据并不陌生，也见证了大数据的产生， 我至今还保存着一块200M 的硬盘，那就是当年某个银行综合业务系统的 所有应用，也带动着数百个柜面业务的展开，而今天，家用PC 的内存都 已经4G 、8G 进行计量，即便是小小一个手机，也有着1G、2G 的内存， 更不用说动辄2T、3T 的硬盘。本单位信息系统的存储增长同样是快速的， 本着不浪费的原则，今天本单位的存储相对于五年前已经增长了若干倍， 相信用不了多久，数据存储的级别将从T 级上升至 P 级，即便如此，也 解决不了大数据带来的压力，必须用其他的方式加以解决；近些年，随 着本单位业务的发展，卡量从 2004 年的数百张增长到如今的 3000 万， 随之带来的是随着上千万客户用卡