大数据时代的数据挖掘与商务智能(一)详解.ppt

产业界与学术界的关注 大数据是人们获得新的认知，创造新的价值的源泉；大数据还是改变市场、组织机构，以及政府与公民关系的方法。 大数据的核心就是预测。三个转变。 更多：不是随机样本，而是全体数据 更杂：不是精确性，而是混杂性 更好：不是因果关系，而是相关关系 * 2013-1 产业界与学术界的关注 本书主要介绍了如何驾驭大数据浪潮，并详细地介绍了什么是大数据，大数据为什么重要，以及如何应用大数据。 本书还从具体实用的角度，介绍了用于分析和操作大数据的工具、技术和方法；以及人才和企业文化的角度，介绍了如何使分析专家、分析团队以及所需的分析原则更加高效，如何通过分析创新中心使得分析更加有创造力，以及如何改变分析文化。 * 2013-1 产业界与学术界的关注 爆发：大数据时代预见未来的新思维。 巴拉巴西的研究是在人类生活数字化的大数据时代基础上进行的，移动电话、网络以及电子邮件使人类行为变得更加容易量化，将我们的社会变成了一个巨大的数据库。 巴拉巴西揭开人类行为背后隐藏的模式“爆发”，提出人类日常行为模式不是随机的，而是具有“爆发性”的。 * 2012-6 新信息世界观：物理世界、信息世界、人类社会组成三元世界  * 大数据 共生智能系统中的数据、信息与知识管理 组织与社群：人类集体智能 ——决策与问题求解 扩展的计算机网络系统：人工智能——数据加工平台 可感知的环境与物品：周遭智能（AmI）——感知与执行终端 数据、信息、知识流转 共生智能系统： 综合集成 共同解决现实的复杂问题 “大数据”对社会发展的影响 科学研究 第四种范式 公共管理 智慧城市 工业生产与商业经营 大数据产业链与商务智能 * 第四种范式 观察与经验描述与实验、理论建模、仿真与计算等科研模式之后，当代又出现了数据密集型的科研范式。 微软公司于2009年10月发布了《The Fourth Paradigm: Data-Intensive Scientific》，首次全面地描述了快速兴起的数据密集型科学研究。 “The Next Science Revolution”，Harvard Business Review，November 2010 * 《第四范式:数据密集型的科学发现》中文版图书 ?科学正在进入一个崭新的阶段。在信息与网络技术迅速发展的推动下，大量从宏观到微观、从自然到社会的观察、感知、计算、仿真、模拟、传播等设施和活动，产生出大量科学数据，形成被成为“大数据”（Big?Data）新的科学基础设施。 * 2012-10 * 《自然》《科学》大数据专刊 * 2011年2月11日出版的《科学》杂志刊登专题——《数据处理》 2008年9月3日出版的《自然》杂志刊登专题——《大数据》 公共管理——智慧城市建设愿景 “智慧城市”系统体系结构 华为公司提议的一个“智慧城市”系统体系结构 感知 传输 智能处理 综合应用 智慧城市的三个空间理论 * 城市管理是个复杂学科，智慧城市建设是一项复杂的系统工程。 对智慧城市的建设应该同时着眼于三个空间的整体。 大连建设智慧城市的总体思路 * 基础设施智能化、产业发展现代化、公共服务普惠化和运营管理精益化 大数据产业链 大数据产业相关企业经济活动包括：用以实现大数据存储、检索、处理、分析、展示的相关IT硬件与软件的生产、销售和租赁活动，以及相关信息服务。 可分为三个方面：（1）用以搭建大数据平台、实现大数据组织与管理、分析与发现的相关IT硬件与软件的生产、销售和租赁活动；（2）大数据平台的运维与管理服务，系统集成、数据安全、云存储等解决方案与相关咨询服务；（3）与大数据应用相关的数据租售业务、分析预测服务、决策支持服务、数据分享平台、数据分析平台等。 * 大数据产业链 * * 大数据的典型特征（3V） 大数据的价值（Value） 大数据将引发新的“智慧革命”：从海量、复杂、实时的大数据中可以发现知识、提升智能、创造价值。 有了云计算、物联网，但缺乏大数据分析处理的核心技术，智慧城市的“大脑”就不够发达，“智商”就不够高，能力就不够强。 广义的大数据 * 商务智能与数据科学 目前决策制定者正在被大量的数据淹没，数字信息从各种各样的传感器、工具和模拟实验那里源源不断地涌来，令企业的组织能力、分析能力和储存信息的能力捉襟见肘。 正如麦肯锡的报告揭示的那样，商业管理作为科学的一个特性正在越来越凸现出来。 * 决策需要信息与知识 情报阶段： 确定问题 设计阶段： 找出解决方案 选择阶段： 选出解决方案 实施阶段： 实施方案 返回情 报阶段 返回设 计阶段 返回选 择阶段 西蒙——决策过程的四个阶段 决策的过程 发现那些需要引起注意的征兆并加以解释 , 例如销售滑坡、生产成本猛涨、老顾客对新产品的