• 沒有找到結果。

CPTS提供实时、离线两种类型的测试报告,供用户随时查看和分析测试数据。

测试报告由业务明细和SLA报告构成。

● 业务明细:显示测试用例的各项测试指标。

● SLA报告:显示测试工程中已配置的SLA规则详情,以及触发SLA规则的事件详 情。

常规用例类型

当“用例类型”为“常规用例”时,测试报告说明如表8-1所示。

本测试报告展现了测试过程中被测系统在模拟高并发用户的响应性能,为了更好的帮 助您阅读测试报告,我们提供以下信息供您参考:

● 统计维度:本报告的RPS,响应时间、并发等统计维度均为单个用例,如用例中有 请求多个报文,只有在多个请求报文均正常返回会认为成功,响应时间也是多个 请求报文的求和值。

● 响应超时:出现该情况下是在设置的响应超时时间内(默认5s),对应的TCP连接 中没有响应数据返回,我们会将本次用例请求统计为响应超时。出现原因一般是 被测服务器繁忙、崩溃、网络带宽被占满等。

● 校验失败:从服务器返回的响应报文不符合预期(针对HTTP/HTTPS默认的预期 响应码为200),比如服务器返回404、502等。出现原因一般为高并发情况下被 测服务无法正常处理导致的,如分布式系统中数据库出现瓶颈、后端应用返回错 误等。

● 解析失败:响应报文已全部接收完成,但是部分报文丢失导致整个用例响应不完 整,这种情况一般需要考虑网络丢包。

● 带宽统计:本报告统计的是性能测试服务执行端的带宽,上行表示从性能测试服 务发出的流量,下行表示接收到的流量。如果是外网压测场景,您需要关注执行 机的EIP带宽是否可以满足上行带宽的要求。而下行带宽需要关注单台执行机是否 超过1GB。

RPS:RPS是指云性能测试服务在统计周期内每秒发送到被测服务器的请求数实时 统计,RPS=统计周期内发送的请求数/统计周期。

● 如何判断被测应用优劣:根据应用本身的服务质量定义,理想状态是没有任何响 应失败、校验失败的情况,如果有,需要在服务质量定义范围之内,通常情况下 不超过1%,同时响应时间越低越好(2s内体验较好,5s内可以接受,超过5s则需 要考虑优化),TP90、TP99指标可以客观反映出90%、99%用户的体验响应时 间。 未设置默认为返回2XX的用例响应数。

● 带宽:记录压测任务运行所消耗的实时带宽变化。

● 响应时间:指从客户端发一个请求开始计时,到客户端接收 到从服务器端返回的响应结果结束所经历的时间。

● 异常返回:解析失败、校验失败、响应超时、3XX、4XX、

5XX、连接被拒绝的用例响应数。

● 平均RPS:是指云性能测试服务在统计周期内平均每秒发送到 被测服务器的请求数统计。

响应状态分布 正常返回、解析失败、校验失败、响应超时的每秒处理用例数,

该项指标与思考时间、并发用户、服务器响应能力均有关,比如 思考时间为500ms,如果服务器对于当前用户的上个请求响应时 间小于500ms,则该用户每秒请求2次。

● 正常返回:如设置了检查点,检查点通过的用例响应数,如 未设置默认为返回2XX的用例响应数。

● 解析失败:HTTP响应无法被正常解析的数量。

● 校验失败:如设置了检查点,检查点未通过的用例响应数,

如未设置,返回不是2XX的用例响应数。

● 响应超时:在请求报文发送5S内未收到服务器响应的用例请

参数 参数说明 RPS/平均响应时

间 ● RPS:是指云性能测试服务在统计周期内每秒发送到被测服务 器的请求数实时统计,RPS=统计周期内发送的请求数/统计周 期。 的那个值作为TPXX的最大响应时间。

● TP50:指在一个时间段内(如10s),统计该请求每次响应 所消耗的时间,并将这些时间按从小到大的顺序进行排序,

取第50%的那个值作为TP50的值。

● TP90:指在一个时间段内(如10s),统计该请求每次响应 所消耗的时间,并将这些时间按从小到大的顺序进行排序,

取第90%的那个值作为TP90的值。

● TP97:指在一个时间段内(如10s),统计该请求每次响应 所消耗的时间,并将这些时间按从小到大的顺序进行排序,

取第90%的那个值作为TP97的值。

● TP99:指在一个时间段内(如10s),统计该请求每次响应 所消耗的时间,并将这些时间按从小到大的顺序进行排序,

取第99%的那个值作为TP99的值。

抓包分析 支持请求、响应的采样抓包功能,用于定位测试过程中的问题,

每个用例每次最多抓取100个。详细内容请参见抓包分析。

说明

抓包分析功能已经转移到日志中。

SLA 报告

当测试任务配置SLA规则后,您可以在SLA报告中查看SLA规则是否被触发。

8-2 SLA 报告说明

参数 参数说明

API名称 测试用例中请求的名称。

规则 已配置的SLA规则。

平均值 测试用例从开始压测到目前为止,业务指标的平均值,以及触发 SLA规则的总次数。

触发事件 显示触发SLA规则的时间、请求名称和当前的触发次数。