基于云计算的多源异构大数据跨源调度方法.PDFVIP

第27卷 第2期 电子设计工程 2019年1月 Vol.27 No.2 ElectronicDesignEngineering Jan.2019 基于云计算的多源异构大数据跨源调度方法 曲睿婷，刘颖，王欣柳，周大鹏 （国网辽宁省电力有限公司辽宁 沈阳 110006） 摘要：传统大数据调度方法不能对底层网络流量进行整合，易导致云网络僵硬运行模式的出现。 为解决上述问题，提出一种基于云计算的新型多源异构大数据跨源调度方法。通过在Postgresql连 接中确定数据二进制存储形式、挖掘数据索引点的方式，完成云计算多源异构数据的组织索引。 在此基础上，利用调度框架获取跨源参数，通过直接追踪的方式，确定跨源调度中心位置所在，实 现基于云计算多源异构大数据跨源调度方法的顺利应用。模拟对比实验结果显示，与传统大数据 调度方法相比，应用新型调度方法后，底层网络流量整合时间缩短25min左右，流量数据的完整性 提升20%左右，云网络僵硬运行现象得到有效抑制。 关键词：多源异构；跨源调度；Postgresql云数据；索引点；参数获取；调度中心 中图分类号：TN923 文献标识码：A 文章编号：1674-6236（2019）02-0185-04 Multisourceheterogeneouslargedatacrosssourceschedulingmethodbasedon cloudcomputing QURui⁃ting，LIUYing，WANGXin⁃liu，ZHOUDa⁃peng （StateGridLiaoningElectricPowerSupplyCo.，LTD.，Shenyang 110006，China） Abstract: Thetraditionalbigdataschedulingmethodcannotintegratetheunderlyingnetworktraffic， anditcaneasilyleadtotherigidoperationmodeofthecloudnetwork.Tosolvetheseproblems，anew multi-sourceheterogeneousdatasourceschedulingmethodbasedoncloudcomputingisproposed.By meansofdeterminingdatabinarystorageformandminingdataindexpointsinPostgresqlconnection，we organizeindexofmulti-sourceheterogeneousdataincloudcomputing.Onthisbasis，thecrosssource parameters are obtained by using the scheduling framework，and the location of the cross source schedulingcenterisdeterminedthroughdirecttracking，andthesmoothapplicationofthemultisource heterogeneous large data cross source scheduling method based on cloud computing is realized.The simulation results show that，compared with the traditional large data scheduling method，after the application of the new scheduling method，the flow integration time of the underlying n