基于云计算公共交通大数据处理机制研究.docVIP

基于云计算公共交通大数据处理机制研究 　　【摘 要】本文将通过对公共交通数据的原理及其技术处理规范进行扼要描述，进而指出公交数据在传输过程中存在的安全问题，并针对公交数据特征提出数据集中和审查的研究方法，希望这些方法的研究能对数据的分析和应用有一定的作用。 　　【关键词】公交数据；处理机制；数据审查；数据安全 　　0.引言 　　目前我国大部分城市都是采用发行公共交通非接触卡的方式，可同时在公交、地铁等公共交通工具上使用。使用公共交通非接触卡搭乘公交、地铁的市民占比也很高。所以，由日常刷卡公交支付行为产生的公共交通交易数据非常庞大，但是，由于未能看到公共交通交易数据带来的效益，除了一些大城市之外，很多城市不太重视交易数据的价值挖掘，造成数据资源的极大浪费。公共交通交易是小额交易，基于快速通行的要求，都采用联机充值、脱机消费的交易机制。脱机消费机制带来的问题是对交易数据的审查必须延后处理，而消费资金的结算依赖于交易数据的审查。从这个角度来讲，交易数据的处理对资金的安全起着决定性的作用。 　　本文从公共交通数据处理的原则、要点来讨论公共交通行业数据的处理机制。 　　1.公共交通数据处理原则 　　（1）制订技术规范，严格按照技术规范进行数据传送、审查、清算。 　　（2）所有数据都应进行审查清算，不允许存在数据抛弃或长期挂起的情况。 　　（3）依据交易数据关联性和票卡余额变化进行数据审查。 　　（4）保证数据传输安全，保障数据不被篡改、不被伪造、不会丢失。 　　（5）及时上传数据，及时进行数据审查。 　　（6）在需要的情况下，进行人工干预。 　　（7）建立数据风险预警机制。 　　2.数据传输安全 　　数据的安全包括三个方面：不被篡改、不被伪造、不会丢失。 　　保证数据不被篡改，可通过交易加密认证码的方式进行，在交易时将关键信息进行加密运算。在数据审查的时候进行解密运算，得到相同的结果可认为数据未被篡改。 　　保证数据不被伪造，除了检测交易加密认证码之外，还需检查数据是否重复，这个也是公共交通交易数据处理的难点之一。检查数据是否重复，理论上要和所有的历史数据进行比较，这个是系统无法承受的，或者说要付出极大的代价，想象一下你可能需比较十年的数据，就能理解这个检查的难度。所以很多时候都是通过特定的算法来完成，比如，可以登记交易设备、卡片的最大流水号和缺失流水号，来快速审查流水号正常的交易数据，这个算法可使绝大部分数据不需参与历史比较，将审查的成本及时间控制在可接受范围内[1]。 　　保证数据不会丢失，也是公共交通交易数据处理的难点之一。这也是脱机消费机制的缺陷所在。脱机消费，需在后期通过人工采集或者无线上传的方式，将交易数据集中。在这个过程中，可能出现消费设备损坏等情况，导致数据的丢失。在这种情况下，如何保证数据的安全呢？首先是要严格按照规定及时采集或上传数据。系统定期或根据需要对卡片的交易数据进行分析，通过交易流水和余额的变化来查找丢失的数据。 　　3.数据集中和审查 　　为了最大程度保证数据的安全，需及时的集中数据，有条件的，通过无线模块一天多次上传数据，没有条件采用无线模块而需要人工采集的，也要保证每天最少采集一次数据。数据的及时性将直接影响到数据的审查结果。 　　每天系统都必须对所有收到的数据进行审查，数据的审查是公共交通交易数据处理的关键，直接影响着资金的安全。那么数据的审查主要又包含以下3个方面： 　　（1）数据传输安全审查，包括上述说到的“不被篡改、不被伪造、不会丢失”三个方面；也需要对数据文件的格式、文件命名、文件内相关信息的格式等内容。 　　（2）交易的准确性。对于数据传输安全审查通过的数据及文件，进行交易准确性检查。交易准确性检查包括以下方面：交易设备编号、交易时间、交易金额、卡号等关键信息是否合法。 　　（3）交易的合理性。交易的合理性检查是是脱机消费机制数据审查的难点，但也是最后一道安全的阀门，最为重要。交易合理性可从两个方面进行数据审查：1）卡片余额变化情况是否连续合理，这个审查要求系统定期对每张卡片的交易进行排序分析，对系统要求很高，但可以掌握最精确情况。2）卡片交易的累计情况，及每张卡片充值累计情况、消费累计情况及最后交易的余额的关系，可以评价整个系统资金安全指数，这种方式对系统资源要求较低，也能掌握整体情况，但对过程的掌握比较薄弱。 　　脱机消费机制导致了数据的集中和审查的现实困难，那么，我们是不是应该定义一个标准，在时效及准确率达到某个比例时，可认为数据处理达到资金安全的要求。 　　4.基于云计算的数据保存和应用 　　数据保存与容灾是所有数据处理的难点，也是最耗系统资源的一个部分，公共交通交易数据量比较庞大，特别是一些大城市，每天交易笔数可达上千万。除了