基于HBASE4G流量话单实时查询及分页展示方法.docVIP

基于HBASE4G流量话单实时查询及分页展示方法 　　【摘 要】现有大数据集实时查询和分页展示的两种方法存在时延大、适用场景有限等问题，为支撑4G用户海量流量话单的查询，构建对应于大数据表的统计信息索引小表，同时设计一套异步数据页缓存装置，实现对数据服务器查询出的数据的缓存，供用户对后续页面的查询使用，以提高查询和展示效率。 　　【关键词】HBASE 流量话单 分页展示 　　中图分类号：TN929 文献标志码：A 文章编号：1006-1010（2017）19-0024-05 　　Method of Real-time Inquiry and Pagination Display of 4G Traffic Bill Based on HBASE 　　LONG Feng， WANG Fan， XIAN Peng， TANG Tang 　　[Abstract] The two methods of existing big data set real-time inquiry and pagination display suffer from large delay and limited application scenario. In order to support the massive 4G user traffic bill inquiry， a small statistical information index table was constructed according to the big data table. A set of asynchronous data page buffer device was designed. Data buffer of data server inquiry output was realized. It can be provided to user to inquire the subsequent page. The efficiency of inquiry and display is enhanced. 　　[Key words]HBASE traffic bill pagination display 　　1 引言 　　?S着4G业务的快速发展，电信运营商计费系统中用户的流量清单飞速增长，目前占到用户清单总存储量的70%以上，在查询用户月流量清单时，需要对超过10万条的结果集进行查询及展示，用户等待时间较长，满意度低。因此本文接下来将介绍一种新的大量数据实时查询及分页展示的方法，提高查询效率，提升用户满意度。 　　2 分页查询展示方法的现状研究 　　目前常见的大数据实时查询和分页展示有两种方法： 　　（1）方法一：客户端发送请求到数据服务器，数据服务器将查询结果返回给客户端，客户端根据获取的数据集进行处理，统计数据集的一些相关信息，然后在前台界面分页展示给用户。该种方法易管理、易维护，技术体系成熟，但是当查询的数据集过大时，超过10万条记录，服务端的查询时间长，网络数据传输量大，用户等待时间长。 　　（2）方法二：客户端在发送请求到数据服务器时，采用页码索引的方式，每次只发送需要查询的页码给数据服务器，数据服务器根据特定算法，每次根据页码范围进行查询，将查询的结果集返回给客户端。该种方法适用于只展示明细数据、不需要展示统计数据的场景。 　　3 统计信息索引表和异步数据缓存的技术 　　原理 　　本文介绍一种大数据实时查询分页展示的方法，通过建立统计信息索引表和异步数据页缓存装置方式解决现有的数据查询与分页展示方法存在的问题。 　　在数据查询系统（本文以HBASE数据库为例）中，构建对应于大数据表的统计信息索引小表，并通过相关技术保证统计索引小表与清单大表间的数据实时同步。同时设计一套异步数据页缓存装置，实现对数据服务器查询出的结果集数据的缓存，供用户对后续页面查询使用。从索引统计小表中查询出统计信息，在清单查询填充程序完成初始设定的展示页码缓存容器填充时，HBASE服务器端查询应用程序就可以对客户端展示程序进行结果响应，客户端展示程序在收到返回的报文后，给用户展现统计信息及经过排序后的前几页清单数据。 　　同时，对完整结果集的查询并行进行，并不断填充到空的页码缓存容器中。当用户需要检索未展示的清单页时，页码索引信息被发送到HBASE服务端查询程序，HBASE服务端查询程序通过算法分析其对应的页码缓存容器是否已填完数据，如完成则从相关页码缓存容器中取出数据，对客户端进行响应，如未完成则等待页码容器被填充。由于采用了异步并行技术，页码容器未填充的概率较低，即使出现，其等待填充的时间也远远小于全量数据查询的时间，故采用本