大数据分析3.docVIP

大数据分析 　　永洪科技大数据分析 　　本文档主要介绍两个案例,一个是互联网行业大数据案例,一个是电信行业的大数据案 例。 　　互联网大数据案例 　　案例背景 　　某著名咨询公司用户行为分析系统面临问题:实时分析的数据量大,基于 Hive 的分析系统 不够实时,但预算有限。 　　问题解决步骤 　　1. 首先提出了测试方案: 　　90 天细节数据约 50 亿条导入 Yonghong DM,再定制 Dashboard 分析。 　　2. 简单测试: 　　先通过 5 台 PC Server,导入 1-2 天的数据,演示如何 ETL ,如何做简单应用。 　　3. 按照提出的测试方案开始导入 90 天的数据,在导入数据中解决了如下问题: 　　解决步长问题,有效访问次数, 在几个分组内,停留时间大于 30 分钟。 　　解决 HBase 数据和 SQL Server数据的关联问题。 　　解决分组太多, Span 过多的问题。 　　4. 数据源及数据特征分析: 　　90 天的数据, Web 数据 7 亿, App 数据 37 亿,总估计在 50 亿。 　　每个表有 20 多个字段,一半字符串类型,一半数值类型,一行数据估计 2000Byte 。 每天 5000 万行,原始数据每天 100G , 100天是 10T 的数据。 　　抽取样本数据 100 万行,导入数据集市,数据量在 180M 。 　　50 亿数据的若全部导入需要 900G 的量, 压缩比在 11:1。 　　假设同时装载到内存中分析的量在 1/3, 那总共需要 300G 的内存。 　　5. 设计方案: 　　总共配制需要 300G 的内存。 　　硬件:5 台 PC Server ,每台内存:64G , 4CPU 4Core 。 　　机器角色:一台 Naming 、 Map ,一台 Client 、 Reduce 、 Map ,其余三台都是 Map 。 6. ETL 过程 : 　　历史数据集中导:每天的细节数据和 SQL Server 关联后,打上标签,再导入集市。 增量数据自动导:先删除近 3 天的数,再导入近 3 天的数。 　　维度数据被缓存;细节数据按照日期打上标签,跟缓存的维度数据关联后入集市;根据系 统配置调优日期标签来删除数据;清洗出有意义的字段。 　　7. 系统配置调优: 　　内部管理内存参数: 　　mem.proc.count=8 　　mem.serial.mem=5120 　　mem.result.mem=10240 　　JVM 内存管理参数配置: 　　JAVA_OPTS= 　　-XX:+UseConcMarkSweepGC -XX:MaxGCPauseMillis=6000 -XX:GCTimeRatio=19 　　-XX:ParallelGCThreads=16 -XX:+UseCMSCompactAtFullCollection 　　-XX:CMSFullGCsBeforeCompaction=1 -XX:CMSInitiatingOccupancyFraction=80 　　-XX:+CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled 　　-XX:SoftRefLRUPolicyMSPerMB=0 -XX:+PrintHeapAtGC -XX:+PrintGCDetails 　　-Xms61440m -Xmx61440m -Djava.awt.headless=true 　　8. 前端展现:互联网用户行为分析 : 　　浏览器分析:运行时间,有效时间,启动次数,覆盖人数,等等。 　　主流网络电视:浏览总时长,有效流量时长, PV 覆盖占有率, UV 占有率,等等。 主流电商网站:在线总时长,有效在线总时长,独立访问量,网站覆盖量,等等。 主流财经网站:在线总时长,有效总浏览时长,独立访问量,总覆盖量,等等。 报表截图 　　90 天数据,近 10T 的原始数据,大部分的查询都是秒级响应。 　　实现了 Hbase 数据与 SQL Server 中维度表关联分析的需求。 　　预算有限,投入并不大,又能解决 Hive 不够实时的问题。 　　性能卓越的交互式 BI 呈现,非常适合分析师使用。 　　电信大数据案例 　　案例背景 　　某省移动 CMNET 流量分析与控制系统面临问题:数据量特别大,但预算特别有限,基于 DW 的分析系统完全无法支持。 　　问题解决步骤 　　1. 首先提出了测试方案: 　　100 天数据约 60 亿条导入 Yonghong DM,再定制 Dashboard 分析。 　　由于预算特别有限,硬件上定制 6 个节点的 PC 集群 (1 CPU 4 Core)。 　　2. POC (Proof