分布式数据集的稳健统计诊断.pdfVIP

第42卷第3期上海第二工业大学学报Vol.42No.3

2025年9月JOURNALOFSHANGHAIPOLYTECHNICUNIVERSITYSep.2025

文章编号:1001-4543(2025)03-0323-07DOI:10.19570/j.cnki.jsspu.2025.03.011

分分分布布布式式式数数数据据据集集集的的的稳稳稳健健健统统统计计计诊诊诊断断断

胡冠浩,姜荣

(1.东华大学数学与统计学院,上海201600;2.上海对外经贸大学统计与信息学院,上海201620)

摘要:随着互联网、物联网、人工智能等领域的飞速发展,分布式系统的应用场景正在不断拓宽。然而,由于分布

式系统中服务器来源的多样性,可能存在异质性,进而影响统计推断的准确性。因此,在分布式系统中进行统计诊断

具有重要意义。采用边际相关性作为诊断统计量,并借助Huber回归增强对数据源多样性与重尾噪声影响下的稳健

性。数值模拟结果验证了所提方法的有效性,表明其在处理大规模高维数据集时,在分布式计算环境中具有良好的

适用性与优越性。

关键词:统计诊断;分布式数据;Huber回归;群组删除

中图分类号:O212.2文献标志码:A

RobustStatisticalDiagnosticsforDistributedDatasets

HUGuanhao,JIANGRong

(1.SchoolofMathematicsandStatistics,DonghuaUniversity,Shanghai201600,China;2.SchoolofStatisticsand

Information,ShanghaiUniversityofInternationalBusinessandEconomics,Shanghai201620,China)

Abstract:WiththerapiddevelopmentoffieldssuchastheInternet,theInternetofThings,andArtificialIntelligence,theapplication

scenariosofdistributedsystemsareconstantlyexpanding.However,duetothediversityofserversourcesindistributedsystems,there

maybeheterogeneitythatcouldaffecttheaccuracyofstatisticalinference.Therefore,performingstatisticaldiagnosticsindistributed

systemsisofgreatsignificance.ThemarginalcorrelationisusedasadiagnosticstatisticandHuberregressionisemployedtoenhance

robustnesswhenfacingdatasourcediversityandheavy-tailednoise.Theresultsofnumericalsimulationsareusedtoverifytheeffective-

nessof