tdh典型应用案例手册.pdfVIP

Transwarp Data Hub 运营商的TDH应用 客户背景： 智能手机的普及以及运营商的业务增长带来了海量的结构化和非结构化的各类运营数据，电信行业数据量因 此极速增长。海量数据带来的并不仅是存储、传输的问题，更重要的是如何从海量数据中进行相关业务分析，以 更好服务客户、提高效率。这已成为运营商亟待解决的问题。 3G/4G等高带宽无线网络的普及极大促进移动设备的数据业务，自助业务检索或帐户相关信息查询等服务日 益受到消费者青睐。传统语音之外的上网、短信以及在线查询话费账单/电话详单等数据业务迅速增长。在这样 的大背景下，现有电信的数据处理系统明显无法满足业务要求，系统响应速度越来越慢。这就急需新一代的详 单账单查询系统。 此外，各类结构化以及非结构化数据的汇聚，导致运营商亟需统一的大数据平台进行运营管理。而多个部 门以及不同业务在大数据平台中的使用，需要完备的访问权限控制以及平台多租户的支持。 问题与需求： 现有混合架构系统维护成本高，侵蚀了业务单位的盈利能力。 传统的Hadoop Map/Reduce架构或者MPP架构速度慢，降低了服务质量。 传统的MPP或关系型数据库不能处理非结构化数据以及对结构化数据进行数据挖掘。当前个性化的客户支持 模式不可扩展，无法应对爆炸性的需求增长，可能会导致不满的顾客流向竞争对手。 传统的RDBMS解决方案无法满足存储规模和实时查询要求，进而无法为用户提供优质服务。 8 个数据源, 外部服务 管理 4TB/天 Mc 信号 PL/SQL JAVA API REST API File API CLI 信令数据 Gn JDBC/ODBC 分析 信号 消息队列 LTE 信号 LBS Inceptor SQL 前端编译器 访问控制 CDR 地理位置服务 计费数据 分析 计费 FTP Web 日志分析 运营分析 信道统计 基于Inceptor的 信道 Over Streaming 自服务分析 CRM HDFS Cluster Inceptor Inceptor 客户标记 集群 集群 M/R 集群 流集群 服务器 网络 SSD 运营数据 覆盖 Hyperbase 分析 GIS 地图 统一资源管理层 - YARN Flume