交通一卡通清分管理中全数据查重方法研究.docVIP

交通一卡通清分管理中的全数据查重方法研究 　　摘要：为更好地解决目前普遍存在的数据清分过程中的查重技术效率不高的问题，达到全数据查重流程优化的目的，从查询字段设计、存储过程同步、数据库优化等方面对全数据查重技术进行深入研究和分析，提出一套高效、准确的全数据查重方法及应用方案。实验结果表明，采用该查重方法能大幅提升大数据条件下的查重效率，有效缓解由于大量数据扫描导致系统IO占用过高，从而引发的系统性能下降。因此，该研究将为大数据背景下的一卡通数据清分管理系统提供安全、可靠和快速的数据查重，为企业、商户、客户提供准确的清算结果和报表奠定重要基础。 　　关键词：交通一卡通；大数据清分；全数据查重；数据库优化 　　DOIDOI：10.11907/rjdk.172242 　　中图分类号：TP301 　　文献标识码：A文章编号文章编号2018）001003503 　　Abstract：In order to better solve the problem of low efficiency in the process of sorting data， and realize the purpose of the full data checking process optimization， This study will conduct indepth study and analysis on the whole data check technology from the aspects of query field design， stored procedure synchronization and database optimization， and presents a set of efficient and accurate data checking method and application.The experimental results show that this method can greatly improve the efficiency of inspection under the condition of large data， and effectively alleviate the system IO occupancy due to the large amount of data scanning， which leads to the performance degradation of the system.Therefore， this study will provide a safe， reliable and fast data check for the traffic card data sorting system in the context of large data， and lay an important foundation for the enterprise， businesses， customers to provide accurate accounting results and reports. 　　Key Words：IC card； big data clearing； data checking； database optimization 　　0引言 　　城市交通一卡通清分管理系?y在交易数据清算过程中，若需要对数据库中的数据作全量查重，必须先进行全量数据的核查及历史同步两个关键步骤。通过对一卡通数据需求的调研分析可知，一卡通历史数据具有以下两大特点：①数据量庞大。以广东岭南通卡为例，目前约有320亿条历史数据存储在数据库中，成为企业数据分析的重要基础资源；②数据存储方式具有多样性。根据不同的业务应用需求，历史数据分别存储于数据库和文件中。 　　根据以上两个特点，在数据清分管理机制设计上需进行以下考虑：对历史数据进行实时清分时，要求与全量数据进行实时查重核对，防止重复记录。考虑到未来一卡通业务的增长性，清分系统设计必须达到一定的数据处理能力，如10W/min（每分钟10万条记录）。若按照原有清分方案，即把历史查重数据存放在同一数据库中，将导致查询性能大幅下降。 　　因此，在新的清分系统中，必须采用合理的存储方案，以提高查询性能，并且支持横向扩展。另外，在存储结构设计上采用单一化方式，对不同存储方式的历史数据进行全量同步，这就要求全量历史交易数据按统一格式构建查重字段，存放于数据库查重表中。 　　一般而言，一卡通交易数据查重是由以下4个字段组成：交易设备编号（PID）、票卡逻辑卡号（L