大数据时代面临的七个挑战和八大趋势.pdf

盘点：大数据时代面临的七个挑战和八大趋势 论文类别：计算机 - 互联网研究 上传时间：2015/1/19 9:43:00 论文作者：未知 大数据挑战和机遇并存，大数据在未来几年的发展将从前几年的预期膨胀阶段、炒作阶 段转入理性发展阶段、落地应用阶段，大数据在未来几年将逐渐步入理性发展期。未来的 大数据发展依然存在诸多挑战，但前景依然非常乐观。 大数据发展的挑战 目前大数据的发展依然存在诸多挑战，包括七大方面的挑战：业务部门没有 清晰的大数据需求导致数据资产逐渐流失；企业内部数据孤岛严重，导致数据 价值不能充分挖掘；数据可用性低，数据质量差，导致数据无法利用；数据相 关管理技术和架构落后，导致不具备大数据处理能力；数据安全能力和防范意 识差，导致数据泄露；大数据人才缺乏导致大数据工作难以开展；大数据越开 放越有价值，但缺乏大数据相关的政策法规，导致数据开放和隐私之间难以平 衡，也难以更好的开放。 挑战一：业务部门没有清晰的大数据需求 很多企业业务部门不了解大数据，也不了解大数据的应用场景和价值，因此 难以提出大数据的准确需求。由于业务部门需求不清晰，大数据部门又是非盈 利部门，企业决策层担心投入比较多的成本，导致了很多企业在搭建大数据部 门时犹豫不决，或者很多企业都处于观望尝试的态度，从根本上影响了企业在 大数据方向的发展，也阻碍了企业积累和挖掘自身的数据资产，甚至由于数据 没有应用场景，删除很多有价值历史数据，导致企业数据资产流失。因此，这 方面需要大数据从业者和专家一起，推动和分享大数据应用场景，让更多的业 务人员了解大数据的价值。 挑战二：企业内部数据孤岛严重 企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的 企业，数据常常散落在不同部门，而且这些数据存在不同的数据仓库中，不同 部门的数据技术也有可能不一样，这导致企业内部自己的数据都没法打通。如 果不打通这些数据，大数据的价值则非常难挖掘。大数据需要不同数据的关联 和整合才能更好的发挥理解客户和理解业务的优势。如何将不同部门的数据打 通，并且实现技术和工具共享，才能更好的发挥企业大数据的价值。 挑战三：数据可用性低，数据质量差 很多中型以及大型企业，每时每刻也都在产生大量的数据，但很多企业在大 数据的预处理阶段很不重视，导致数据处理很不规范。大数据预处理阶段需要 抽取数据把数据转化为方便处理的数据类型，对数据进行清洗和去噪，以提取 有效的数据等操作。甚至很多企业在数据的上报就出现很多不规范不合理的情 况。以上种种原因，导致企业的数据的可用性差，数据质量差，数据不准确。 而大数据的意义不仅仅是要收集规模庞大的数据信息，还有对收集到的数据进 行很好的预处理处理，才有可能让数据分析和数据挖掘人员从可用性高的大数 据中提取有价值的信息。Sybase的数据表明，高质量的数据的数据应用可以显 著提升企业的商业表现，数据可用性提高10%，企业的业绩至少提升在10%以 上。 挑战四：数据相关管理技术和架构 技术架构的挑战包含以下几方面：(1)传统的数据库部署不能处理TB级别的 数据，快速增长的数据量超越了传统数据库的管理能力。如何构建分布式的数 据仓库，并可以方便扩展大量的服务器成为很多传统企业的挑战；(2)很多企业 采用传统的数据库技术，在设计的开始就没有考虑数据类别的多样性，尤其是 对结构化数据、半结构化和非结构化数据的兼容；(3)传统企业的数据库，对数 据处理时间要求不高，这些数据的统计结果往往滞后一天或两天才能统计出 来。但大数据需要实时处理数据，进行分钟级甚至是秒级计算。传统的数据库 架构师缺乏实时数据处理的能力；(4)海量的数据需要很好的网络架构，需要强 大的数据中心来支撑，数据中心的运维工作也将成为挑战。如何在保证数据稳 定、支持高并发的同时，减少服务器的低负载情况，成为海量数据中心运维的 一个重点工作。 挑战五：数据安全 网络化生活使得犯罪分子更容易获得关于人的信息，也有了更多不易被追踪 和防范的犯罪手段，可能会出现更高明的骗局。如何保证用户的信息安全成为 大数据时代非常重要的课题。在线数据越来越多，黑客犯罪的动机比以往都来 的强烈，一些知名网站密码泄露、系统漏洞导致用户资料被盗等个人敏感信息 泄露事件已经警醒我们，要加强大数据网络安全的建设。另外，大数据的不断 增加，对数据存储的物理安全性要求会越来越高，从而对数据的多副本与容灾 机制也提出更高的要求。目前很多传统企业的数据安全令人担忧。 挑战六：大数据人才缺乏 大数据建设的每个环节都需要依靠专