审计大数据处理方法及系统.pdfVIP

审计大数据处理方法及系统

一、背景技术

大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无法

通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助

企业经营决策更积极目的的资讯。大数据具有4V特点：Volume(大量)、

Velocity(高速)、Variety(多样)、Value(价值)。大数据需要特殊的技术，以有

效地处理大量的容忍经过时间内的数据。但是，传统的基于大数据的审计方法对

数据的采集存在目的性和选择性上不够准确导致数据臃肿，影响审计分析结果。

因此，亟需一种新的审计大数据处理方法。

通过上述分析，现有技术存在的问题及缺陷为：传统的基于大数据的审计方

法对数据的采集存在目的性和选择性上不够准确导致数据臃肿，影响审计分析结

果。

二、技术方案

提供了一种审计大数据处理方法及系统。审计大数据处理方法包括以下步骤：

步骤一，通过审计数据获取模块利用审计数据获取设备获取待处理的原始审

计数据；

步骤二，通过结构化处理模块利用结构化处理程序将获取的原始审计数据进

行结构化转换；

步骤三，通过审计数据存储模块利用审计数据存储程序将结构化转换后的数

据以文件扩展名的形式存储至云数据库服务器；

根据关系型数据存储方法，在第一服务器存储一个以上第一数据以及所述一

个以上第一数据与一个以上第二数据的序列标识的对应关系；

对两个以上第二服务器的标识进行映射运算，获取所述两个以上第二服务器

的标识的映射值；根据所述两个以上第二服务器的标识的映射值，将映射值集合

划分为两个以上映射值区间；将所述两个以上映射值区间分别对应所述两个以上

第二服务器，作为该第二服务器的存储标识范围；

步骤四，通过中央处理模块利用中央处理器控制所述审计大数据处理系统各

个模块的正常运行；

步骤五，通过审计数据预处理模块利用审计数据预处理程序利用ETL技术对

结构化转换后的审计数据进行预处理，得到预处理后的审计数据；

步骤六，通过特征提取模块利用特征提取程序对预处理后的审计数据特征进

行提取；

步骤七，通过审计数据分析处理模块利用审计数据分析处理程序利用提取的

审计数据特征对审计数据进行分析处理；

步骤八，通过审计数据输出模块利用数据输出程序将分析处理后的审计数据

进行输出；

步骤九，通过数据更新显示模块利用审计数据更新程序将所述审计大数据处

理系统数据进行更新，并通过高清LED显示器进行显示。

进一步，步骤一中，所述通过审计数据获取模块利用审计数据获取设备获取

待处理的原始审计数据，具体包括：

(1)开始；

(2)骨干节点B判断骨干节点B的网络前缀是否等于骨干节点B的网路前缀，

如果是，则执行步骤(4)，否则执行步骤(3)；

(3)如果骨干节点B的网络前缀大于骨干节点B的网络前缀，骨干节点B则

判断骨干节点B的优先级大于骨干节点B，如果骨干节点B的网络前缀小于骨干

节点B的网络前缀，骨干节点B则判断骨干节点B的优先级小于骨干节点B，执

行步骤(7)；

(4)骨干节点B判断骨干节点B的节点ID是否等于骨干节点B的节点ID，如

果是，则执行步骤(6)，否则执行步骤(5)；

(5)如果骨干节点B的节点ID大于骨干节点B的节点ID，骨干节点B则判断

骨干节点B的优先级大于骨干节点B，如果骨干节点B的节点ID小于骨干节点B

的节点ID，骨干节点B则判断骨干节点B的优先级小于骨干节点B，执行步骤

(7)；

(6)如果骨干节点B广播的地址创建消息中的随机数大于骨干节点B广播的

地址创建消息中的随机数，骨干节点B则判断骨干节点B的优先级大于骨干节点

B，如果骨干节点B广播的地址创建消息中的随机数小于骨干节点B广播的地址

创建消息中的随机数，骨干节点B则判断骨干节点B的优先级小于骨干节点B；

(7)结束。

进一步，步骤二中，所述通过结构化处理模块利用结构化处理程序将获取的

原始审计数据进行结构化转换的方法为：

将获取的原始审计数据转化为可检索的二维表；在形成所述二维表过程中，

跳过对空行的提取。

进一步，步骤五中，所述通过预处理程序利用ETL技术对结构化转换后的审

计数据进行预处理