在云端平台大数据检核系统及其方法.pdfVIP

(19)中华人民共和国国家知识产权局 *CN102750367A* (12)发明专利申请 (10)申请公布号 CN 102750367 A (43)申请公布 日 2012.10.24 (21)申请号 201210200083.X (22)申请 日 2012.06.18 (30)优先权数据 100149402 2011.12.29 TW (71)申请人 中华电信股份有限公司 地址 中国台湾桃园县杨梅市新荣里民族路 5 段551 巷12 号 (72)发明人 洪子轩 吴昭宗 周维圣 (74)专利代理机构 广州华进联合专利商标代理 有限公司 44224 代理人 万志香 曾旻辉 (51) Int.C l. G06F 17/30 (2006.01) 权利要求书 2 页 说明书 8 页 附图 4 页 权利要求书2 页 说明书8 页 附图4 页 (54) 发明名称 在云端平台的大数据检核系统及其方法 (57) 摘要 本发明公开了一种应用于数据仓储在云端平 台的大数据检核系统及其方法，是在数据由来源 端通过云端平台进行数据转换的过程上载至数据 仓储，一直到呈现至使用者端，在每阶段数据处理 步骤中，通过云端分散运算的方式进行数据检核 比对、计算出此阶段的数据质量，用来决定数据的 适用性。 A 7 6 3 0 5 7 2 0 1 N C CN 102750367 A 权 利 要 求 书 1/2 页 1. 一种在云端平台的大数据检核系统，其特征在于，具有云端大数据，通过云端运算进 行质量检测与比对，包括： 质量项目云数据库，用以储存品值数据 ； 质量规则云数据库，用以储存质量规则与规则所组成的模型数据 ； 云端规则探勘模块，用以链接该质量项目云数据库、自动产生数据检核规则模型，存放 于该质量规则云数据库中； 云端数据检验模块，用以计算比对该云端大数据，链接该云端规则探勘模块产生的规 则模型，与该云端大数据比对产生质量数据项； 云端质量筛选模块，用以链接该质量项目云数据库，将通过检核的该云端大数据加载 到目标数据集散地 ； 云端讯息通报模块，用以连接该质量项目云数据库，将每次数据检核的结果搜集、通报 使用者；以及 目标数据集散地，接收通过该云端讯息通报模块检核的数据，用以存放该数据。 2. 如权利要求1 所述的在云端平台的大数据检核系统，其特征在于，所述云端平台为 Hadoop、EC2 或Cloudera Enterprise。 3. 如权利要求1 所述的在云端平台的大数据检核系统，其特征在于，所述目标数据集 散地为非关系数据库、关系数据库、Hive、HBase、BigTable、Cassandra或Amazon SimpleDB。 4. 如权利要求1 所述的在云端平台的大数据检核系统，其特征在于，所述质量项目 云数据库为非关系数据库、关系数据库、Hive、HBase、BigTable、Cassandra 或Amazon SimpleDB。 5. 如权利要求1 所述的在云端平台的大数据检核系统，其特征在于，所述质量规则 云数据库为非关系数据库、关系数据库、Hive、HBase、BigTable、Cassandra 或Amazon SimpleDB。 6. 如权利要求1 所述的在云端平台的大数据检核系统，其特征在于，所述云端规则探 勘模块，更包括： 用户接口，提供用户输入客制化的数据检验规则； 与用户接口连接的API，用以将规则储存于该质量规则云数据库中； 多个质量规则，用以计算