某公司大数据平台规划方案汇报（30页PPT）.pptVIP

2025年4月10日;目录;大数据;大数据对某著名企业运营商的应用价值体现;上海某著名企业数据平台现状;大数据处理的需求和特点;;某著名企业运营面临的大数据挑战;;每个应用需求的变化就是一场灾难。由于数据处理与业务的紧密关联可能需要对中间每个处理环节进行逐个调整。重新生成数据的周期也非常缓慢。;大数据使得现有的数据处理方法面临新问题;因为在某著名企业互联网和物联网上需要有新领域的突破，不同于传统通信业务分析特点，需要对内容等非结构化、大容量信息进行有效分析，传统的架构处理吃力。;目录;上海某著名企业大数据平台目标架构及定位;HDFS：分布式文件系统

有较强的容错性

可在x86平台上运行，减少总体成本

可扩展，能构建大规模的应用

HBase：非结构化NoSQl分布式数据库

基于分布式文件系统HDFS，保证数据安全

列式存储，节省存储空间

提供大数据量的高速读写操作

Hive：分布式关系型数据库

数据可保存在HDFS，可提供海量的数据存储

类SQL的查询语句，提供大数据的统计和分析操作，适合海量数据的批处理

通过MapReduce实现大规划并行计算

MapReduce：大规划并行计算引擎

可将任务分布并行运行在一个集群服务器中;SharedNothing;数据分级存储原则;;源数据导入ETL，进行数据的清洗、转换和入库。;;Pcap数据（DPI）;系统

构成;项目背景

运营商建设有多套垂直的网管子系统，目前系统数据集中程度不够，还未形成统一的数据标准和数据共享框架，对运营支撑的支撑力度不够，而网络运维分析在面向服务转型的过程中对数据的汇聚和共享要求极为迫切，因此需要建立统一的网管资源池

网管资源池主要负责各个垂直网管子系统信令数据、日志数据的、告警数据的统一管理，实现跨平台的数据整合、数据应用和数据共享等功能，

网管统一资源池需提供海量历史数据的查询功能，满足运维人员日常信息查询和信息追溯的需要。

系统与呼叫中心、工单系统对接，实现快速的数据交付（工单生成、告警触发）

难点分析

多个垂直网管系统的数据结构千差万别，抽取后的数据无法关联形成统一的数据集合，传统关系型数据库优势无法体现

系统需要满足OLAP类应用分析，并面向上层应用提供一致性的数据查询，传统的关系型数据库受限于数据体量和数据种类，无法满足多类型的海量数据的查询和分析要求

系统需同时从多个数据源实现数据库数据、信令数据和日志数据的采集，传统的ETL工具无法满足流式数据的采集要求，导致进程拥塞。

建设方案

基于不同的数据源及应用分析模式采用Flume、Sqoop等系统工具完成结构化和非结构化数据的导入

基于HDFS实现海量历史数据的存储

Hive组件可通过SQL命令完成大数据的统计分析，并与传统关系型数据库配合完成分析结果数据的存放

HBase主要应用于历史数据的查询，例如：查询1天全网所有隐形故障告警数据

;谢谢！;本PPT为可编辑版本，您看到以下内容请删除后使用，谢谢您的理解;【解析】【解答】（1）氯化钠是由钠离子和氯离子构成的；金刚石是由碳原子构成的；干冰是由二氧化碳分子构成的；（2）质子数为11的是钠元素，钠元素原子的最外层电子数1，在化学反应中容一个电子形成阳离子；（3）化学变化是生成新分子的变化，其实质是分子分解成原子，原子重新组合形成新的分子，故该反应中没有变的是碳原子和氧原子。

故答案为：氯化钠；失去；D。

【分析】物质有微粒构成，构成物质的微粒有原子、分子、离子是那种，金属、稀有气体由原子构成；常见气体由分子构成；碱和盐由离子构成。在化学变化中，原子种类、质量、数目保持不变。

26.用微粒的观点解释下列现象：

（1）今年我国要求“公共场所全面禁烟”．非吸烟者往往因别人吸烟而造成被动吸烟。

（2）夏天钢轨间的缝隙变小。

【答案】（1）分子是在不断的运动的.

（2）夏天，铁原子间的间隔变小.

【考点】物质的微粒性

【解析】【解答】（1）吸烟生成烟雾，烟雾分子因为运动，扩散到空气中，使非吸烟者被动吸入烟雾分子，造成被动吸烟；

（2）钢轨由铁原子构成.每两根钢轨间都有一定的间隙，夏天由于气，使得钢轨中铁原子的间隔变大，表现为钢轨的体积膨胀，则钢轨间的间隙变小.

故答案为：（1）分子是在不断运动的；（2）夏天高温，铁原子间的间隔变小.

【分析】微粒观点的主要内容：物质是由分子（或原子构成），分子间有间隔，分子处于永停息的运动状态中.（1）烟雾分子属气体分子，在空气中扩散较快，使非吸烟者被动吸烟；

（2）铁原子间有一定的间隔，高，则铁原子间间隔变大，反之则变小，夏天高下，铁原子间间隔变大，使得钢轨体积膨胀，则钢轨间的缝隙变小.

;【考点】物质的微粒性

【解析】【解答】（1）铁属于金属单质，是由铁原子