大数据分析讲稿.pptVIP

大数据存储技术 大数据具有的多源性、异构性、规模性、动态增长性等特征，使得传统基于关系数据库的存储技术已不能满足大数据的存储要求，对数据存储提出了更高的要求： 对性能的要求 检索，数据资源的共享等需求，要求存储设备高性能。 对容量的要求 观测数据、企业管理运营数据、中间计算结果数据、媒体数据、历史数据等。 对数据资源有效管理的要求 合理的计算机数据管理软件、管理策略、硬件设施等。 对数据资源保护的要求 避免人为误操作、设备损坏、灾害发生时的丢失等。 大数据存储技术 大数据存储关键技术 数据可通过许多方式来存储、获取、处理和分析。每个大数据来源都有不同的特征，包括数据的频率、量、速度、类型和真实性。处理并存储大数据时，会涉及到更多维度，比如治理、安全性和策略。为了简化各种大数据类型的复杂性，可依据各种参数对大数据进行分类，以设计存储模式和选择存储设备。 依据大数据类型对业务问题进行分类 　　业务问题可分类为不同的大数据问题类型。将业务问题映射到它的大数据类型。 下表列出了常见的业务问题并为每个问题分配了一种大数据类型。 业务问题 大数据问题 描述 公用事业：预测功耗 机器生成的数据 公用事业公司推出了智慧仪表，按每小时或更短的间隔定期测量水、天然气和电力的消耗。这些智慧仪表生成了需要分析的大量间隔数据。 公用事业公司还运行着昂贵而又复杂的大型系统来发电。每个电网包含监视电压、电流、频率和其他重要操作特征的复杂传感器。 要提高操作效率，公司必须监视传感器所传送的数据。大数据解决方案可以使用智慧仪表分析发电（供应）和电力消耗（需求）数据。 电信：客户流失分析 Web 和社交数据 交易数据 电信运营商需要构建详细的客户流失模型（包含社交媒体和交易数据，以跟上竞争形势。 流失模型的值取决于客户属性的质量（客户主数据，比如生日、性别、位置和收入）和客户的社交行为。 实现预测分析战略的电信提供商可通过分析用户的呼叫模式来管理和预测流失。 市场营销：情绪分析 Web 和社交数据 营销部门使用 Twitter 源来执行情绪分析，以便确定用户对公司及其产品或服务的评价，尤其是在一个新产品或版本发布之后。 客户情绪必须与客户概要数据相集成，才能得到有意义的结果。依据客户的人口统计特征，客户反馈可能有所不同。 客户服务：呼叫监视 人类生成的数据 IT 部门正在依靠大数据解决方案来分析应用程序日志，以便获取可提高系统性能的洞察。来自各种应用程序供应商的日志文件具有不同的格式；必须将它们标准化，然后 IT 部门才能使用它们。 零售：基于面部识别和社交媒体的个性化消息 Web 和社交数据 生物识别 零售商可结合使用面部识别技术和来自社交媒体的照片，根据购买行为和位置向客户提供个性化的营销信息。 此功能对零售商忠诚度计划具有很大的影响，但它具有严格的隐私限制。零售商需要在实现这些应用程序之前进行适当的隐私披露。 零售和营销：移动数据和基于位置的目标 机器生成的数据 交易数据 零售商可根据位置数据为客户提供特定的促销活动和优惠券。解决方案通常旨在在用户进入一个店铺时检测用户的位置，或者通过 GPS 检测用户的位置。 位置数据与来自社交网络的客户偏好数据相结合，使零售商能够根据购买历史记录针对性地开展在线和店内营销活动。通知是通过移动应用程序、SMS 和电子邮件提供的。 FSS、医疗保健：欺诈检测 机器生成的数据 交易数据 人类生成的数据 欺诈管理可预测给定交易或客户帐户遇到欺诈的可能性。解决方案可实时分析事务，生成建议的立即执行的措施，这对阻止第三方欺诈、第一方欺诈和对帐户特权的蓄意滥用至关重要。 解决方案通常旨在检测和阻止多个行业的众多欺诈和风险类型，其中包括： 信用卡和借记卡欺诈 存款帐户欺诈 技术欺诈 坏账 医疗欺诈 医疗补助计划和医疗保险欺诈 财产和灾害保险欺诈 工伤赔偿欺诈 保险欺诈 电信欺诈 按类型对大数据问题分类 容易分析出每种数据的特征。这些特征可帮助我们了解如何获取数据，如何将它处理为合适的格式，以及新数据出现的频率。来自不同来源的数据具有不同的特征；例如，社交媒体数据包含不断传入的视频、图像和非结构化文本（比如博客文章），依据这些常见特征来评估数据。 内容的格式 数据的类型（例如，交易数据、历史数据或主数据） 将提供该数据的频率 意图：数据需要如何处理（例如对数据的临时查询） 处理是否必须实时、近实时还是按批次执行。 大数据存储技术 用大数据类型对大数据特征进行分类 按特定方向分析大数据的特征会有所帮助，例如以下特征：数据如何收集、分析和处理。对数据进行分类后，就可以将它与合适的大数据模式匹配： 分析类型 — 对数据执行