大数据应用浅谈.docVIP

大数据应用浅谈 在过去的年中,各个领域都出现了大规模的数据增长,包括医疗保健和科学传感器?用户生成数据?互联网和金融公司?供应链系统等。大数据这一术语正是产生在全球数据爆炸增长的背景下,用来形容庞大的数据集合。与传统的数据集合相比,大数据通常包含大量的非结构化数据,且大数据需要更多的实时分析。此外,大数据还为挖掘隐藏的价值带来了新的机遇,同时给我们带来了新的挑战,政府机构最近也宣布了一项加快大数据进程的重大计划,各行各业也都在积极讨论大数据的吸引力。 1、大数据的定义 一般意义上,大数据是指无法在有限时间内用传统IT 技术和软硬件工具对其进行感知?获取?管理?处理和服务的数据集合。 大数据技术描述了新一代的技术和架构体系,通过高速采集?发现或分析,提取各种各样的大量数据的经济价值。大数据的特点可以总结为 4 个 V,即volume 体量浩大 ?variety 模态繁多 ?velocity 生成快速 和value 价值巨大但密度很低 。 大数据价值链可分为4个阶段:数据生成?数据采集?数据储存以及数据分析。数据分析是大数据价值链的最后也是最重要的阶段,是大数据价值的实现,是大数据应用的基础,其目的在于提取有用的值,提供论断建议或支持决策,通过对不同领域数据集的分析可能会产生不同级别的潜在价值。 2、大数据应用 大数据应用,是利用大数据分析的结果,为用户提供辅助决策,发掘潜在价值的过程。 2.1 大数据分析的关键领域 根据数据的生成方式和结构特点不同,本文将数据分析划分为6个关键技术领域: 2.1.1结构化数据 一直是传统数据分析的重要研究对象,目前主流的结构化数据管理工具,如关系型数据库等,都提供了数据分析功能。 分析商业和科研领域会产生大量的结构化数据,而这些结构化数据的管理和分析依赖于数据库?数据仓 库?OLAP和业务流程管理成熟商业化技术。得益于关系型数据库技术的发展,结构化数据的分析方法较为成熟,大部分都以数据挖掘和统计分析为基础。 2.1.2文本 是常用的存储文字?传递信息的方式,也是最常见的非结构化数据。 存储信息最常见的形式就是文本,例如电子邮件通信?公司文件到网站页面?社交媒体内容等。因此,文本分析被认为比结构化数据挖掘更具有商业化潜力。通常情况下,文本分析,也称为文本挖掘,指的是从非结构化文本中提取有用信息 和知识的过程。文本挖掘是一个跨学科领域,涉及到信息检索?机器学习?统计?计算语言学尤其是数据挖掘。 2.1.3 Web数据 Web技术的发展,极大地丰富了获取和交换数据的方式,Web数据高速的增长,使其成为大数据的主要来源。 在过去的10年中,我们见证互联网信息的爆炸式增长,同时 Web分析作为一个活跃的研究领域也已经出现。Web分析旨在从 Web 文档和 服务中 自动检索?提取和评估信息用以发现知识。Web分析建立在几个研究领域之上,包括数据库?信息检索?自然语言处理和文本挖掘等。 Web内容涉及多种类型的数据,例如文本?图像?音频?视频?代号?元数据以及超链接等。 2.1.4多媒体数据 随着通讯技术的发展,图片?音频?视频等体积较大的数据,也可以被快速地传播,由于缺少文字信息,其分析方法与其他数据相比,具有显著的特点。 近来,多媒体数据 主要包括图像?音频和视频 正以惊人的速度增长,几乎无处不在。由于多媒体数据多种多样而且大多数都比单一的简单结构化数据和文本数据包含更丰富的信息,提取信息这一任务正面临多媒体数据语义差距的巨大挑战。多媒体分析的研究涵盖的学科种类非常多,从多媒体摘要?多媒体注解?多媒体索引和检索?多媒体的建议和多媒体事件检测等, 2.1.5社交网络数据 从一定程度上反映了人类社会活动的特征,具有重要的价值。 网络分析从最初的计量分析和社会学网络分析一直演化到21世纪初新兴的在线社交网络分析。许多流行的在线社交网络,例如 Twitter,Facebook和 LinkedIn 等近年来都日益普及。这些在线社交网络通常都含有大量的链接和内容数据,其中链接数据主要为图形结构,表示两个实体之间的通信,而内容数据则包含有文本?图像以及其他网络多媒体数据。这些网络的丰富内容给数据分析带来了前所未有的挑战,同时也带来了机遇。 2.2大数据的典型应用 2.2.1企业内部大数据应用 目前,大数据的主要来源和应用都是来自于企业内部,企业内部大数据的应用,可以在多个方面提升企业的生产效率和竞争力。 具体而言:市场方面,利用大数据关联分析,更准确地了解消费者的使用行为,挖掘新的商业模式;销售规划方面,通过大量数据的比较,优化商品价格;运营方面,提高运营效率和运营满意度,优化劳动力投入,准确预测人员配置 要求,避免产能过剩,降低人员成本;供应链方面,利用大数据进行库存优化?物流优化?供应商协同等工作,可以缓和供需之