大数据应用与发展趋势调研.pdfVIP

《大数据应用与发展趋势调研》 姓 名： 专 业： 班 级： 学 号： 一、 大数据的概念 对于“大数据”（Big data）研究机构Gartner 给出了这样的定义。“大数据”是需要新处 理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信 息资产。从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据 必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分 布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随 机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据的4V 特点：Volume （大量）、Velocity （高速）、Variety （多样）、Value （价值）。 随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师 团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化 数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和 云计算联系到一起，因为实时的大型数据集分析需要像MapReduce 一样的框架来向数十、 数百或甚至数千的电脑分配工作。大数据需要特殊的技术，以有效地处理大量的容忍经过时 间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库、数据挖掘电网、 分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。 二、 大数据的应用 (1) 商业智能 今天计算和存储硬件变得非常便宜，配合大量的开源大数据工具，人们可以非常“奢侈” 地先抓取大量数据再考虑分析命题。可以说，低廉的计算资源正在改变我们使用数据的方 式。此外，处理性能的大幅提高 （例如内存计算）使得实时互动分析更加容易实现，而“实 时”和“预测”将BI 带到了一个新的境界——未知的未知。这也是大数据分析与传统BI 之 间最大的区别。 今天的大数据技术还处于战国时期，未来几年，随着企业间的兼并和新产品的不断推出， BI 厂商们将能推出完善的，让CEO 感到满意的“大数据套件”，但这并不意味着企业IT 经理 们的工作将受到威胁。因为正如云计算在理想和现实间达成妥协一样，大数据也会经历类似 的发展过程。传统的BI 工具将与大数据分析并存。 (2)公共服务 大数据另外一个重大的应用领域是社会和政府。如今，数据挖掘已经能够预测疾病暴发、 理解交通模型并改善教育。 今天，城市正面临预算超支、基础设施难题以及从农村和郊区涌入的大量人口。这些都 是非常紧迫的问题，而城市，也正是大数据计划的绝佳实验室。以纽约这样的大都市为例， 政府公共数据公开化、以及市民生活的高度数字化（购物、交通、医疗等）等都是大数据分 析的理想对象。 客观的市政数据，是消除争端，维系公民社会的最佳纽带。当然，前提是让公民能够访 问这些数据。苹果的Sir 和谷歌的Google Now 都具备成为个人化助理的潜力。当然，我们 还需要更多的产品和技术让数据分析结果更容易被公众理解和接受（数据可视化）。此外， IBM 的Watson 以及Wolfram Alpha 这样的人工智能技术还能实现与用户的互动。 今天，智能手机（以及Twitter 等社交网络）的普及让人类社会首次实现了公民的联网。 应用程序商店实时上已经打通了政府和公民之间的应用层面的通道（例如奥运期间伦敦警察 厅发布的iphone 通缉程序）。伴随着各国政务的数字化进程，以及政务数据的透明化，公民 将能准确了解政府的运作效率。这是不可逆转的历史潮流，同时也是大数据最具潜力的应用 领域之一。 (3)市场营销 大数据的第三大应用领域是市场营销。具体来说，是提升消费者与企业之间的关系。今 天，最大的数据系统是web 分析、广告优化等。今天的数字化营销与传统营销最大的区别 就是个性化和精准定位。 如今，企业与客户之间的接触点也发生了翻天覆地的变化，从过去的电话和邮件地址， 发展到网页、社交媒体账户、博客等等。在这些五花八门的渠道里跟踪客户，将他们的每一 次点击、收藏、“顶”、分享、加好友、转发等行为纳入企业的销售漏斗中并转化成收入是一 个巨大的挑战。也就是所谓的“360度客户视角”。大数据已经与在线营销交织在一起，其 应用可以分为