电子招标投标系统选型测试实例 ——以中国节能环保集团有限公司为例
2021-03-01
本文以中国节能环保集团有限公司在电子招标投标系统采购过程中引入第三方选型测试方法为例,详细讲解了需要通过功能测试和性能测试去比对产品,并对后续系统的建设提出了建议。
自2013年《电子招标投标办法》颁布实施以来,电子招标投标系统在工程建设、物资采购、政府采购等领域的应用不断深入,近两年进入了飞速发展时期。2020年因为新冠肺炎疫情的影响,各地方央企、大型集团公司、交易中心、招标代理机构以及第三方交易平台加快推进招标投标全流程电子化进程,未来线上的电子化招标采购方式终将全面取代传统的线下招标投标方式。
但是目前缺少针对电子招标投标系统的选择依据和评估方法,央企、大型集团公司以及交易中心等机构在选择电子招标投标系统时,面对市面上众多的产品难以选择符合其个性需求的系统。如果采用传统的市场调研方法来采购电子招标投标系统,往往只关注产品的功能实现和以往实施案例,而对系统实际运行的性能表现和安全风险关注很少,即使关注也无法获取客观可信的数据。因为采购时无法进行技术指标比较,当采购单位在实际运营中发现已采购系统与自身业务特点不符时,就需花费较大的成本去调整或改造。所以在采购之前通过基于业务需求的选型测试去对有采购意向的多个系统进行横向技术指标比对,是保证系统采购质量的有效方法。
本文以中国节能环保集团有限公司(以下简称“中国节能”)在电子招标投标系统采购过程中引入第三方选型测试方法为例,详细讲解了需要通过哪些技术指标去比对产品。
一、测试需求分析
中国节能在全国各地拥有500多家下属企业,其总部和所有下属企业的招标采购都集中在总部进行。因此,中国节能采购的电子招标投标系统既要满足总部及所有下属企业的各种招标采购业务功能需求,又要满足业务高峰期大规模用户在线、并发操作时的性能稳定可靠性需求。为了获取客观准确的比对数据,中国节能决定在电子招标投标系统采购过程中引入第三方选型测试,并将选型测试的客观数据作为采购评标的重要依据。
中国软件评测中心经过层层比选成功中标此选型测试项目,对市面上三款主流电子招标投标系统进行选型测试(文中用A、B、C来代表三款EBS名称)。通过分析中国节能业务需求特点,本次选型测试综合考虑参测产品的功能适合性及业务高峰期时系统的性能表现。因此,最终确定把功能和性能两部分作为选型测试的技术指标。
为有效保证本次选型测试的公平公正,在充分调研中国节能各类业务需求的基础上,考虑各款参测产品的技术特点,制定了统一的测试流程和评价方法,并为所有参测产品提供了基于私有云的相同测试环境和测试资源、统一的基础铺底数据,设置了统一的测试策略和测试场景。在此基础上进行了横向比对选型测试,确保了最终测试结果的客观性、科学性和可比性。
二、测试内容
本次选型测试内容包括功能和性能两部分,具体如下:
(一)功能测试
根据采购方要求,对参测产品进行核心功能点和业务流程的抽测,包括业务功能、登录功能和断点续传功能。其中,业务功能涵盖了招标基本功能、竞争性谈判基本功能、单一来源采购基本功能、询价采购基本功能和管理功能五个部分。抽测要求具体如下:
(1)招标基本功能中的投标邀请、发标、投标、开标、评标和定标六类业务中,各家抽取其中一类进行功能遍历测试;
(2)竞争性谈判、单一来源采购和询价采购三类基本功能,各家抽取其中一类进行功能遍历测试;
(3)管理功能、登录和断点续传功能,各家均需全部测试。
(二)性能测试
性能测试选取中国节能实际业务中可能出现的高并发操作作为性能压力点,模拟登录、投标人信息库查询、开标签到和文件上传四个大规模用户并发场景,检测系统的性能表现,主要内容见表1。
本次性能测试主要考虑不同并发用户规模下的性能表现,从以下三个维度进行评价:
平均响应时间(秒):统计测试期间系统成功交易的平均响应时间。响应时间的快慢反映了系统的响应速度,响应时间越小,真实用户将得到更好的用户体验。
交易完成情况(成功交易数和失败交易数):统计测试期间系统完成交易的情况,包括成功的交易数量和失败的交易数量。单位时间内完成的交易数量越大,反应系统吞吐能力越好。
CPU平均利用率:通过工具采样方式统计测试期间CPU资源的使用情况。CPU资源利用率越低,反映系统的负载越小,相对更有潜力承担更高的并发访问。
三、测试结果及分析
(一)功能测试结果及分析
三款参测产品功能测试结果差距较小,均为基本合格,且各款均存在部分功能细节还需进一步改进,测试结果见图1所示。
以上功能测试结果显示,各款参测产品基本满足电子招标投标系统功能测试要求,通过率均在92%以上,但部分功能细节还需进一步改进,不满足项主要表现为以下三个方面:缺少部分数据项,缺少部分统计分析功能,浏览器的断点续传功能还需完善。
(二)性能测试结果及分析
本次性能测试采用了大量历史数据作为测试铺底数据,真实地模拟了系统上线后的实际使用情况,包括12万投标人信息库、3000个历史投标项目和1000个投标文件(每个文件350MB)。
在此大数据量背景下实施的性能测试,三款参测产品的性能表现差异较大,并且这种差异随着并发用户数的增长表现得更为明显;在其中一类并发业务操作中,甚至出现了大量并发用户超时和大量业务失败的情况。以下以四类典型业务操作的平均响应时间为例,并结合交易完成情况和CPU平均利用率的测试结果,具体分析三款参测产品的性能表现:
1.登录测试
三款参测产品在三组不同并发用户数登录场景下的平均响应时间测试结果见图2。从图中明显看出,C产品表现最优,A产品表现最差。另外,从交易完成情况和CPU平均利用率测试结果来看,C产品未出现失败交易且CPU平均利用率较低,而A产品出现大量失败交易且CPU利用率很高。进行故障定位后发现A产品的信息展示模块导致其数据库服务器CPU利用率持续接近100%,进而出现大规模并发操作超时和大量交易失败情况。
2.投标人信息库查询测试
三款参测产品在三组不同并发用户数查询投标人信息库场景下的平均响应时间测试结果见图3。从图中明显看出,B产品表现最优且遥遥领先,A产品和C产品的差异随着并发用户数的增加而加大。结合交易完成情况和CPU平均利用率测试结果来分析,三款参测产品均未出现失败交易,B产品CPU平均利用率最低,A产品的平均响应时间虽然优于C产品,但其应用服务器CPU利用率较高,很有可能将来随着业务规模的扩大而成为系统瓶颈。
3.用户签到测试
三款参测产品在三组不同并发用户数进行用户签到场景下的平均响应时间测试结果见图4。从图中可以看出,三款参测产品在此类业务场景下的性能表现均较好且差异较小(相对其他三类业务场景),A产品和B产品表现相当,而C产品相对表现较差。在交易完成情况和CPU平均利用率方面,三款参测产品均未出现失败交易且CPU平均利用率均使用合理。
4.文件上传测试
三款参测产品在三组不同并发用户数进行文件上传场景下的平均响应时间测试结果见图5。从图中可以看出B产品表现最优,C产品在低并发用户数时与其他两家差距较小,但在100并发用户时已明显落后其他两家。从交易完成情况和CPU平均利用率方面来分析,三款参测产品CPU平均利用率均较低,B产品未出现失败交易,但A产品和C产品均出现少量失败交易。
四、后续建议
结合当前电子招标投标系统采购情况以及本次选型测试的实施情况,对后续系统建设工作提出以下建议:
(一)加强系统前期的规划和部署
建议加强云环境的适配验证和部署规划论证,如系统云部署方式、虚拟主机的启停和业务启停以及系统动态扩容、迁移的规划;适当考虑系统的数据冗余和容灾措施;建议仔细梳理集团公司业务需求,确保功能的适合性,尤其是业务流程的完整性以及统计分析功能的充分性。
(二)加强上线前系统的性能测评
上线前系统的性能测评包括两个方面:一方面是基于目前业务规模,评估系统性能是否满足当前业务需求;另一方面是基于未来业务规模发展趋势,预测系统未来性能和容量的可扩充性。例如,随着未来用户数的增加,当前系统是否仍然满足需求,如果不能,需要进行哪些调整?调整系统硬件、软件或者部署策略等。通过上线前的性能测评,保证系统核心的业务流程既能应对系统上线后的潜在并发需求,也能应对未来业务扩充可能出现的系统瓶颈等问题。
(三)加强上线前系统的安全性评估
由于电子招标投标系统的使用涉及大量招标投标主体信息以及招标投标过程中产生的重要项目信息,容易成为互联网的非法攻击目标。在本次选型测试中,所有参测系统均部署在模拟测试环境,无法检测出系统真实存在的安全风险问题,因此也未把安全性检测作为选型测试内容进行横向比对。考虑到安全性检测的重要性,建议系统正式上线前必须进行全面的安全性评估,为今后系统的安全运营提供重要保障。
作者及作者单位:曹晓芳,中国软件评测中心;任放,中国节能环保集团有限公司
来源:《招标采购管理》