分布式计算验证方案 -南京云创.docVIP

分布式计算验证 方案描述 方案设置 许继电气.张展国 执行人 硬件情况 硬件配置 名 称 配置细节 数量 作用 刀片服务器 CPU ： 3.2G 8核 32线程 内存： 32G 4 DataNode 刀片服务器 1 NameNode 软件 名 称 说明 cStore 云创自主软件 dataCute 云创自主软件 Hadoop System Hadoop 2.2 档案数据格式 用户信息(1000w条) 属性名 数值类型 说明 建立索引 用户ID number(15) 是 用户名 Varchar(50) 是 变压器ID number(15) 用户所属变压器的ID 是 计量点ID number(15) 用户所在量测点的ID 是 冗余字段 随意 另外10 个随机字段，字段类型随机，但是不能为空 变压器信息(50w条) 属性名 数值类型 说明 建立索引 变压器ID number(15) 是 安装位置 Varchar(50) 可以简化为一个线路代号 是 冗余字段 随意 另外15 个随机字段，字段类型随机，但是不能为空 量测数据格式(30000w条) 属性名 数值类型 说明 建立索引 数据ID 唯一ID 是 计量点ID number(15) 是 数据日期 date 或者 number(8) 是 时序 mumber(2) 取值范围 0-96 按照15分钟间隔，每天96 个点，用 1-96 表示 0 表示日冻结 用电量冻结值 mumber(13,2) 数据召测时间 datetime 或者 number(17) 随机时间 冗余字段 随意 另外10 个随机字段，字段类型随机，但是不能为空 数据组织策略 数据域 组织策略 数据规模 用户信息 随机产生 数据约束规则： 其变压器ID 和变压器表ID ? 多对一 其计量点ID和量测数据表 数据ID ? 一对多 1千万 变压器信息 随机产生 数据约束规则： 变压器和用户具有一对多关系均匀分布 变压器信息中的“变压器位置”有5000个取值可能，即：这50万台变压器属于5000条线路，每条线路100台变压器 50万，每个变压器下面有200用户 量测数据 按照 每用户每天97点，产生2014年4月至2014年9月的6个月数据。 如有技术困难，可修改数据产生条件为： 500万用户，每用户每天1个点（时序值为0），取2个月 字段“用电量冻结值” 的产生规则： 共计15位， 第一位是“3”，接着10位是“用户信息：ID），接着4位为月份值和日期值，如“0401” 1 千万用户 × 每天97个点 × 180 天 ， 共计 2000 亿左右 量测数据最小值 约 500万用户 × 每天1个点 × 60 天 ， 共计 3 亿左右 数据录入 录入前记录服务器磁盘使用情况 服务器 磁盘使用（df截图） 录入过程 描述使用什么工具，以及开始结束时间 Datacube客户端jdbc 语句： upsert into BYQINFO006 values(….); upsert into USERINFO006 values(….); upsert into DATAINFO006 values(….); 用户信息表 单线程入库 1000w条 用时1683秒 变压器信息 单线程入库 50w条 用时106.7秒 数据信息表 双线程入库 30000w条 用时45378秒 录入结束记录服务器磁盘使用情况 服务器 磁盘使用（df截图） 业务功能验证 变压器列表 验证目标 检索某线路下的变压器列表，过滤条件为“安装位置” 参考sql select * from “table变压器信息” where “安装位置” = ？ select /*+ USE_INDEX_OVER_DATA_TABLE (BYQINFO006 BYQINFO006_LOCATION_idx1) */ * from BYQINFO006 where LOCATION=12 验证结果： 结果截图 执行时间： 0.309秒 用户列表 验证目标 检索变压器下的用户列表，过滤条件为“变压器ID” 参考sql select * from “table用户信息” where “变压器ID” = ？ select /*+ USE_INDEX_OVER_DATA_TABLE (USERINFO006 USERINFO006_BYQID_idx1) */ * from USERINFO006 where BYQID=39121 验证结果： 结果