ArcGIS地理大数据平台配置及性能优化策略-2016-12-07.pptVIP

备注：这个测试环境是早期搭建的，当时把HostedServer和GeoAnalyticsServer放在了一个集群里。真实生产环境，建议要分开，因为稳定性会更好。**这两个参数分别意思是，每个Job任务可以使用的最大内存为每个GISServer节点内存的75%，每个Job任务可以使用的最大CPU资源为集群中所有CPU总和的75%。以上这个值的设置依据是，集群中有16个Server节点，每个节点配置为8core/16G内存，那么总资源为128core/256G内存，其设置结果为96core/12G，因为内存的设置，是针对每个Server节点，而CPU设置，是针对集群中全部资源的*在进行GeoAnalytics大数据分析平台配置时，需要综合考虑性能和容量规划，在进行海量空间数据处理时，由于采用了全新的ArcGIS10.5分布式计算平台，用户经常会有如下困惑：*备注说明：这里配置了两个计算集群：一个是GISServer作为托管的Hosted集群；另一个是GeoAnalytics大数据计算处理集群。托管的集群CPU可以设置为4core，因为不做高并发计算处理。给出的硬件配置，仅供参考，在用户进行实际选型时，还需要根据实际需求进行测试。**测试结果对比纽约出租车数据分析：数据内容：2015年1-12月份，纽约街区打车数据数据分析：点聚合分析，1km六边形格网Esri美国：基于Amazon云环境配置：4core、16G内存存储：S3对象存储Esri中国：基于华为虚拟化环境配置：8core、16G内存存储：OceanStor90001节点(传统)1节点大数据)4节点大数据)16节点大数据)资源利用率分析网络资源：随着计算节点增加，网络IO提升，但是没有达到瓶颈资源利用率分析内存资源：消耗较高，因为在ServerAdmin中做了参数设置，GeoAnalytics工具可以使用的最大内存为系统内存的3/4，即不会超过75%在这个硬件环境中，内存和CPU成为性能瓶颈系统性能优化参数设置Systemproperties设置，每个节点可用的资源最大值：{percentageMaxAllowedComputeCores:80,percentageMaxAllowedComputeMemory:80}然后设置每个任务可以使用的CPU和内存资源，在servicesSystemGeoAnalyticsTools.GPServer中设置：maxAllowedMemoryPerJobPerNode:12,maxAllowedComputeCoresPerJob:96,性能测试小结针对此次测试，得出结论：1.系统硬盘IO、网络IO都在正常范围；2.GeoAnalytics节点的CPU、内存已经达到上限；3.需要调整CPU、内存值，重新测试4.进而给出最优的部署方案性能优化策略小结ArcGISGeoAnalytics设置：同时执行的任务数处理的数据量大小任务预计运行多久系统资源利用率硬件资源设置：采用系统性能监测工具查看系统性能瓶颈如CPU、内存、网络IO、磁盘IO根据瓶颈，再做调整软件性能依赖硬件环境，硬件环境指导软件配置大数据分析任务属于长事务型计算，耗时从几分钟—数十小时综合考量因素性能优化策略小结ArcGISGeoAnalytics设置：同时执行的任务数，如果并发执行多个任务：调整GeoAnalyticsGP服务实例数，这个是实例数指的是同时执行任务数；在ServerAdmin中，设置每个任务消耗的CPU、内存资源，消耗资源总和，不要超过系统资源的80%；处理的数据量大小：如果数据量较大，且分析复杂，则耗时很久，对网络传输、磁盘IO、内存等资源消耗大，会抢占其他任务处理资源请求；任务预计运行多久：实例运行多久，实例回收系统资源利用率：所有任务消耗的总CPU资源不要超过总资源的80%，内存不要超过每个节点的80%ArcGIS大数据平台硬件配置方案—来自用户的困惑该采用物理机，还是虚拟化？一台物理主机，配置多少个VM合适？每个VM配置多少CPU和内存？每个Site站点中，配置多少个GISServer节点？每个GISServer节点配置多少CPU和内存？每个Site中，可以同时执行多少个GeoAnalytics任务？每个GeoAnalytics任务是如何调度和使用资源的？数据如何存储，磁盘，Nas？带着满满的困惑、疑问我们先看下Esri与华为空间大数据联合测试的硬件配置硬件配置—华为与Esri空间大数据联合测试华为环境