大数据平台技术方案及应用案例分析.ppt

* 功能特点 业务方面： 可以随时动态添加任务，从管理中心添加日志收集任务、转发业务、或转发到其它平台，停止已有业务转发，或停止某个平台的转发。 对日志格式没有要求（有时间标签即可），可以从文件系统、数据库、数据接口等多种方式中收集数据； 能够处理不同平台下（Windows 、Linux、虚拟机）不同格式日志； 转发和存储： 数据转发中心作为系统的海量数据高性能转发枢纽，支持PB级别数据转发，可以将数据变为多份转发到多个平台。 采用分布式存储架构和大数据分析技术，可以横向扩展，保证数据不丢失； 可实现在Hadoop集群、HBase集群和云存储之间交互，实现超大数据量的数据分析和数据备份。 查询和统计功能： 海量日志查询，通过的关键字、应用、主机、文件以及时间范围进行日志筛选，快速定位日志信息； 检索和统计功能，部署在分布式集群架构上，日均处理能力已达数十T+； 支持数据模型统计（用户定义模型）和实时统计分析； 支持日志告警，自定义告警阀值策略； * 互联网金融征信系统 全新的互联网金融评估体系 采集个人或企业在互联网交易或各类服务数据，并结合线下渠道数据，进行信用评估的活动。互联网金融信用评估系统 * XX商城精细化业务运营系统 XX商城存储了大量的用户、订单、商品、评价等电商业务数据。 通过基于协同过滤和基于物品相似度等算法进行建模，去分析用户的行为和性格特征，发现用户潜在的兴