企业大数据之道最终.pptVIP

方针 从技术难度小入手，认识自己的不足，比如在技术、人力和财力等方面是无法比肩BAT； 明确分析自己的需求，比如，数据类型、数据大小、读写量级、读写比例、并发数、延迟度和分析的复杂度等； 以有一定的商业价值的场景来做大数据技术落地的试点，并不断地进行测试和迭代来验证，而不是一味求复杂、求大，这样比较容易说服企业管理层来进行长期的投入和支持； 要灵活使用现有的工具，比如开源或者是一些可以承受的商业软件，不排斥自建，但是一定要有价值，希望是画龙点睛。 * 方法 提供数据交易、迁移、存储、处理、分析的实时平台，满足行业用户在大数据挑战下快速、实时的处理和服务需求； 将大量结构化与非结构化的数据进行整合处理，融合云计算应用程序，将其集成到服务器及各种工程系统中，使用户工作简化； 打造大数据优化解决方案，在确保数据真实性的前提下，有效处理大规模、多样化、高速流动的数据，帮助用户获取对业务的洞察，以制定相应的策略，实现业务的快速突破和成长； 创建数据的管道化管理流程，以数据集聚为依托，以各种数据应用为驱动，面向用户呈现丰富的界面形式，来展现数据分析的结果，完成数据的汇总、应用分析及结果呈现的完整流程。 * BI分析 * 数据挖掘和深度分析 钻取到 北京大区 钻取到 商业类客户 钻取到 北京天力士 * 相关性分析 * 波士顿矩阵分析 * 大数据定义及理解 大数据技术 企业如何大数据 大数据应用 大数据挑战 目录 中国大数据市场及现状 * 传统数据处理流程 * 大数据处理流程 * 大数据技术架构 * 大数据相关技术（1） 大数据技术： 数据采集：ETL工具、抓取工具； 数据存取：关系数据库；NoSQL；文件系统、内存数据库、缓存等； 基础架构支持：云存储；分布式文件系统、分布式缓存、基于MPP(海量并行处理)的分布式数据库等，而其中最炙手可热的新技术就是Hadoop； 计算结果展现：云计算；标签云；关系图，BI等，Pentaho。 分析技术： 数据处理：自然语言处理技术； 统计和分析：A/B test; top N排行榜；地域占比，文本情感分析； 数据挖掘：10大算法，关联规则分析、分类(C4.5,Kmeans)、聚类， KNIME,Weka,R ； 模型预测：预测模型（决策树）；机器学习；建模仿真。 * 大数据相关技术（2） 存储： 结构化数据： 海量数据的查询、统计、更新等操作效率低。 非结构化数据： 图片、视频、word、pdf、ppt等文件存储； 不利于检索、查询和存储 半结构化数据： 转换为结构化存储； 按照非结构化存储。 解决方案： Hadoop（MapReduce技术） Greenplum，HANA 流计算（twitter的storm和yahoo！的S4） * 大数据技术领域挑战 计算 计算的速度 处理吞吐量 存储 存储是为了更方便的查询 硬盘、内存的成本 查询 “沙里淘金 ” 全表扫描 * 大数据定义及理解 大数据技术 企业如何大数据 大数据应用 大数据挑战 目录 中国大数据市场及现状 * 大数据挑战 1、数据分析与管理人才紧缺 2、用户隐私与便利性的冲突 3、数据安全的风险更加凸显 2011年4月索尼的系统漏洞导致7700万用户资料失窃; 2011年4月，iOS被发现会按照时间顺序记录用户的位置坐标信息； 2011年CSDN密码泄露事件； … * * * THANKS * * 未来几年，我们将看到大数据应用将从互联网逐渐向更多的行业发展，所以未来对基于数据流的监测和分析将有更多的需求。例如，电信运营商利用大数据技术对用户的行为习惯进行分析，就能更有针对性地制订市场营销计划或开发出更多全新的商业模式和服务;金融行业能借该技术更快速地分析在金融机构之间交换的营销与交易数据，以确保交易的安全可靠和防欺诈;智能城市及物联网领域则可借大数据技术更快实现智能交通监控、智能公共安全、气象和污染变化的智能监控及预测等应用 * * 未来几年，我们将看到大数据应用将从互联网逐渐向更多的行业发展，所以未来对基于数据流的监测和分析将有更多的需求。例如，电信运营商利用大数据技术对用户的行为习惯进行分析，就能更有针对性地制订市场营销计划或开发出更多全新的商业模式和服务;金融行业能借该技术更快速地分析在金融机构之间交换的营销与交易数据，以确保交易的安全可靠和防欺诈;智能城市及物联网领域则可借大数据技术更快实现智能交通监控、智能公共安全、气象和污染变化的智能监控及预测等应用 * * 分类、聚类、关联规则分类、统计学习、链接挖掘、袋装与推进 * * 分类、聚类、关联规则分类、统计学习、链接挖掘、袋装与推进 * * 江苏绿领空间投资有限公司 江苏绿领空间投资有限公司 江苏绿领空间投资有限公司 江苏绿领空间投资有限公司 * 企业“大