ArcGIS Server性能检测与性能规划2.pdf

ArcGIS Server性能检测与性能规划 赵万锋 ArcGIS系统性能优化专题系列 讲座内容 地图性能检测与优化 地图服务性能检测 ArcGIS Server应用系统性能测试 GIS系统性能设计与规划 系统性能影响因子 存储 CPU 数据源 地图 服务类型 客户端 技术 SDE 服务接口 部署 架构 数据结构 内存 网络 ArcGIS Server性能性能优优化化 数据结构 矢量数据结构 栅格数据结构 TIN地形结构 数据存储 Shapefile PGDB FGDB ArcSDE 显示参数优化 比例尺级别 点、线、面符号 使用组合图层 注记代替标注 避免动态投影 避免小波压缩 使用优化工具 MxdPerfStat Analyzer Tool 性能优化参数性能优化参数 ESRI CPT工具工具 压力测试工具压力测试工具 Server日志日志 Server性能记录性能记录 系统性能计数器系统性能计数器 CPU利用率利用率 内存利用率内存利用率 网络利用率网络利用率 地图服务 动态地图服务 缓存地图服务 数据服务 影像服务 地理编码服务 三维球体服务 地理处理服务 数据结构与 数据源 地图文档 优化 服务优化 性能规划与 测试 Server Desktop Mobile 高可用 部署 单机部署单机部署 反向代理部署反向代理部署 高可用部署高可用部署 反向代理集群反向代理集群 Web服务器集群服务器集群 SOC集群集群 数据库集群数据库集群 FGDB只读分布部署只读分布部署 虚拟机部署虚拟机部署 虚拟机划分虚拟机划分2GCore 地图性能检测与优化工具 MxdPerfStat PerfQAnalyzer 图层性能诊断 1、MxdPerfStat dperfstat C:mxdperfstat-mxd Portland_Dev09_Bad.mxd-xy 7655029;652614-scale 8000 地地图图文档文档优优化工具化工具 2、MSD Publisher Optimizing mxd with new ArcMap 9.3.1 Analyze Tool PerfQAnalyzer for ArcGIS 10.1 up_PerfQA_Analyzer_10.1.zip PerfQAnalyzer for ArcGIS 10.1 可以进行相关图层放大、缩小、平移等的时间计算 可以进行脚本化的数据编辑（创建、删除、分割、移动、旋转等）-亮点 可以进行MXD文件性能检查的工具，可以对图层获得要素总数（可以包含标注检查）等 可以进行ArcSDE数据库（Oracle）的Trace文件跟踪 支持版本9.3、10、10.1，既支持文件地理数据库也支持ArcSDE地理数据库，既支持集成与ArcGIS Desktop，也支持独立的EXE工具打开。地图服务性能检测与优化工具 DynPerfStat 动态服务性能检测 TilePerfStat 切片服务性能检测 DynPerfStat工具 TilePerfStat.exe-mapserver services.arcgisonline.co.nz/ArcGIS/rest/services/Generic/newzealand/MapServer-width 500-height 500-xy 1231388;4900579 DynPerfStat工具 输出到Excel TilePerfStat.exe-mapserver services.arcgisonline.co.nz/ArcGIS/rest/services/Generic/newzealand/MapServer-width 500-height 500-xy 1231388;4900579 log.txt Scale Time(ms)Level Tile Found Tiles Requested 16000000 368 0 2 4 8000000 403 1 4 4 6000000 337 2 1 4 4000000 806 3 4 4 3000000 437 4 4 4 2000000 822 5 4 4 1000000 726 6 4 4 500000 1148 7 4 4 250000 881 8 4 4 125000 710 9 4 4 75000 825 10 4 4 50000 643 11 4 4 20000 1009 12 4 4 10000 393 13 4 4 5000 611 14 4 4 2500 357 15 4 4 地图文档性能分析 分析问题、解决问题 地图预览 ArcGIS Server应用系统性能测试 性能测试概述性能测试概述 1.为什么进行性能测试？实时监测服务器资源情况 合理调配资源及系统性能调优 瓶颈问题定位分析 监控服务响应时间 性能测试概述性能测试概述 2.影响系统性能的几个因素？硬件：服务器配置 软件：程序和数据库 网络：结构、带宽、稳定性 负载：并发用户数 因素 浏览器请求监视工具 Fiddler(支持嵌入IE）FireBug（支持Firefox）ArcGIS Server日志 ArcCatalog统计 ArcGIS Manager统计 压力测试工具 VS Studio测试工具 JMeter LoadRunner 应应用系用系统统性能性能测试测试方法与工具方法与工具 Fiddler Firebug YSlow 使用内容分发网络（CDN）为文件头指定Expires或Cache-Control Gzip压缩文件内容 把样式表置于顶部 把脚本置于页面底部 避免使用CSS表达式（Expression）使用外部JavaScript和CSS 减少DNS查找 削减JavaScript和CSS 避免跳转 剔除重复脚本 配置ETag PageSpeed 页面综合性能分析，可以针对 页面提供综合报告和建议 内置JavaScript以及图片优化，包括JS Minify 改进的资源请求显示 页面请求活动视图，以直观的图 标方式显示个请求的加载时间顺序 以及每个请求各部分的时间消耗，开发人员可以根据这些数据找到性能的瓶颈 Javascript性能优化，可以分析出 未被调用的以及可以延迟调用的函数 ArcGIS Server日志分析 停止其他服务 清空日志 日志级别设置为verbose 访问地图服务 通过Firebug观察服务响应时间 案例：响应时间不断上升 找到该服务的所有日志文件，合并到一起 cat*.dat|grep“End ExportMapImage”export_elapsed.log或copy*.dat export_elapsed.log UltraEdit编辑器里打开export_elapsed.log文件，切换到“列模式”，把所有的elapsed值筛选出来，通过Excel可以生成一个直观的图表 Beginning of layer draw:LAYER0 Execute Query Symbolizing Data Access Symbol Drawing Number of features drawn:1 End of layer draw:LAYER0 写个小程序，从日志文件写个小程序，从日志文件读取每个图层的历次绘制时间，包括图层绘制、符号绘制、数据访问等过程的时间。程序执行以后可以生成若干个文件，每个文件记录了一个图层在这次实验过程中的所有操作时间，文件存成csv格式，方便Excel读取。排查结果 End of labeling phase(labeling and label draw)罪魁罪魁祸祸首是首是Label Browser Web Server SOM SOC Total Response Time(t2-t1)Wait Time Search&Retrieval Time Usage Time SDE/DBMS t1 t2 使用浏览器输入服务器地址进行测试 1 性能性能测试测试流程流程 使用Fiddler监控HTTP请求 在IE7和IE8下其监控不到localhost主机，可以使用计算机名代替Localhost 使用FireBug监控HTTP请求 Browser Web Server SOM SOC Total Response Time(t2-t1)Wait Time Search&Retrieval Time Usage Time SDE/DBMS t1 t2 使用ArcCatalog和ArcGIS Manager日志记录每次请求 2 性能性能测试测试流程流程 ArcCatalog监控Server运行情况 Beginning of layer draw:hewang Executing query.Feature count:474 End of layer draw:hewang%ArcGIS_Hone%serveruserlogZXB-ESRI-ZXB-ESRI-20100817-162202.dat ArcGIS Server for Java 服务吞吐量 Browser Web Server SOM SOC Total Response Time(t2-t1)Wait Time Search&Retrieval Time Usage Time SDE/DBMS t1 t2 可以使用一些开源工具如，P6Spy、SQL Profiler、IronTrack SQL 监控数据库SQL执行性能 3 性能性能测试测试流程流程 网站压力测试工具 VS Studio开开发环发环境境 New Test Project JMeter工具工具 LoadRunnner 测试流程：熟悉系统架构 制定测试计划 选择测试协议 录制测试脚本 相关参数设置 运行测试场景 测试结果分析 问题反馈解决 形成测试报告 利用LR测试AGS Server应用系统过程 1、测试计划制定 1.系统登录（init初始化）2.应用浏览（appBrowse）3.地图放大（out）4.地图缩小（in）5.数据查询（select）LR测试过程 二、利用LR测试云计算系统过程 2、测试脚本录制 输入URL 选择模式 脚本录制三部曲 LR测试过程 利用LR测试系统过程 演示 2、测试脚本录制 2、场景编辑 打开录制的脚本 利用LR测试系统过程 二、利用LR测试云计算系统过程 2、场景编辑 Think time 设置 虚拟用户数 开始运行 利用LR测试系统过程 2、场景运行演示！演示 二、利用LR测试云计算系统过程 3、结果分析 二、利用LR测试云计算系统过程 3、结果分析 二、利用LR测试云计算系统过程 3、结果分析 每秒点击数 总吞吐量 二、利用LR测试云计算系统过程 3、结果分析 地图浏览 地图缩小 地图放大 数据查询 初始化 通过 停止 二、利用LR测试云计算系统过程 3、结果分析 二、利用LR测试云计算系统过程 3、结果分析 CPU使用很少，需要检查设置的虚拟用户数是否合理 连接超时错误，思考时间不要设置过长，虚拟用户数不要设置过多 不同的开发框架对系统性能有影响 需要反复测试，优化系统性能 LR总结 Throughout增长到一定程度以后呈现平稳，说明出现网络瓶颈 TPS呈直线状，服务器资源出现瓶颈 GIS性能性能设计设计与与规规划划 系统用户数 同时在线用户数 并发用户数(Peak Concurrent Users)吞吐率(Throughput)网络带宽(Bandwidth)思考时间（Think Time）每分钟显示事务数（DPM）每小时显示事务数（DPH）为什么要做系统性能规划 提升用户信心-宣传、交流、方案设计、投标应答等等宣传、交流、方案设计、投标应答等等 -EsriEsri 19921992年开始在实际项目中使用该年开始在实际项目中使用该模型模型 （ArcGIS 10.1ArcGIS 10.1一样适用一样适用）节省用户资金 掌握项目话语权-预算的分配预算的分配 -整体构架的制定整体构架的制定 需求阶段($0 改变想法)设计阶段($10 改变想法)建设阶段($100 改变想法)完成阶段($1000 改变想法)我们常用的系统设计功能 系统硬件配置-你们ArcGIS能不能支持到xxx个并发？(并发量硬件配置)-帮我们看看这个配置能支持多少个用户？(硬件配置并发量)并发用户数模拟 某集某集团团公司有公司有3000人使用人使用GIS系系统统，那么系，那么系统统用用户户数就是数就是3000 该该GIS系系统统有个在有个在线统计线统计功能，通功能，通过过多月平均，大多月平均，大约约400人人/天在天在线线，高峰，高峰时时期有期有500人同人同时时在在线线 在在这这400人当中，人当中，40%的人在屏幕上仔的人在屏幕上仔细细分析地分析地图图数据，数据，20%的人在的人在发发呆，呆，20%的的人在人在页页面面录录入数据，只有入数据，只有20%的人在的人在频频繁的刷新地繁的刷新地图图，查询查询数据（其数据（其对对服服务务器器产产生生了了实际实际的的压压力）力）估算并估算并发发用用户户数数，方法一：并，方法一：并发发用用户户数估算公式数估算公式 计计算平均的并算平均的并发发用用户户数：数：C=nL/T（n是是login session的数量；的数量；L是是login session的平均的平均长长度；度；T指考察的指考察的时间时间段段长长度）度）并并发发用用户户数峰数峰值值：C C+3根号根号C 例如：例如：一个一个GIS系系统统有有3000人的注册用人的注册用户户，平均每天有，平均每天有400人同人同时时在在线线，用，用户户平均每天使用系平均每天使用系统统的的时间为时间为4小小时时，全天按，全天按8小小时计时计算算 那么那么C=400 4/8=200,C=200 3200=242 估算并估算并发发用用户户数数，方法二：并，方法二：并发发用用户户直接估算直接估算为为系系统统用用户户数的数的10%，即，即，3000 10%=300 CPT Hardware tab 硬件配置并发量 Physical or Virtual Servers Select desired output(TPH or Client)Platform Capacity Select Platform Platform Capacity Calculator CPT Calculator Tab 并并发发量量硬件配置硬件配置 Software technology selection Peak User requirements Software Performance Parameters Data Source Network Performance System Architecture and Platform selection Preliminary Platform Sizing and Utilization Workflow Description Workflow Display Performance 性能规划，用户场景一 某基于某基于ArcGIS RIA技技术术开开发发的气象的气象GIS系系统统高峰并高峰并发发用用户为户为100，要求，要求计计算算服服务务器配置、网器配置、网络带宽络带宽、系、系统统部署部署 使用使用ESRI CPT（capacity planing tool）了解系了解系统设计统设计策略（策略（CPT基基础础原理）原理）TPH（Trancation Per Hour）与User换算 并发用户数 每分钟显示事务数 网络带宽 计算的思考时间与响应时间 网络延迟 1 设置业务工作流及输入并发用户数 2 配置ArcGIS Server组件 Web服务器和SOC分离部署，SDE和DBMS安装在一台机器上 系统安装配置，建议参考系统设计策略中分布式部署中的多层架构 3 配置硬件参数 Web服务器一台，CPU利用率25.2%；SOC GIS服务器2台，配置为Xeon X5450 4 core(1 chip)3000MHZ，8G内存 建议配置2G/core；数据库服务器一台，CPU利用率51.4%，配置为Xeon 2 Core(2 chip）3800MHZ，内存8G 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 Performance(sec)Workflow Performance Summary Client Latency NWQ Network WTSQ WTS WebQ Web SOCQ SOC SDEQ SDE DBMSQ DBMS 性能评估 用户规划-场景2 如何确定Web地图服务的最佳实例数 高峰用户数设置为1 最小思考时间为0,01(池化服务实例分配支持随机地图服务请求）依次增加依次增加实实例例数，完成数，完成测试测试 结论 超过4soc/核（共16个soc实例）吞吐量不再提升 增加实例数反应时间随之增加 反馈&问答 Esri中国官方技术支持热线：400-819-2881,010-65542881 邮箱:support