1 测试范围
在GB/T 11457-2006《信息技术 软件工程术语》中, 将“集成”定义为“把软件、硬件部件或两者合成为一个完整的系统的过程”。而集成应用通常是指把现有的、已成熟的软件、硬件集成后，运用于软件产品生产和应用系统研究开发，以及支撑应用系统的运行。国产基础软件集成应用课题中的“国产基础软件集成应”是指“依据用户需求，将现有的、已成熟的国产基础软件产品( 如操作系统、数据库、中间件、办公软件等)集成后，运用于软件产品和应用系统的研究开发，以及支撑应用系统的运行”。
1.1 国产基础软件集成应用
国产基础软件集成应用主要是指两种或两种以上的国产基础软件集成后的应用( 见图1)，包括：
● 基于国产操作系统的集成应用，即操作系统与数据库、中间件、办公软件中的一种或以上产品集成后的应用。
● 围绕中间件的集成应用，即支撑国产基础软件运行的操作系统为国外产品，主要是数据库和办公软件以中间件为核心，实现集成后的应用。
1.2 国产基础软件集成应用测试
按照GB/T 15532-2008《计算机软件测试规范》的规定，国产基础软件集成应用测试属于集成测试，其目的是“检验软件单元之间、软件单元和已集成的软件系统之间的接口关系，并验证集成软件系统是否符合设计要求”，同时，GB/T 15532-2008 中规定的集成测试内容包括互操作性测试和性能测试。由于“国产基础软件集成应用测试”的目的是为了保证基础软件产品集成后能够正确、可靠、高效的运行，因此，测试内容限定为两种或两种以上国产基础软件集成后的互操作性测试和集成性能测试。
在GB/T 11457-2006、GJB/Z 1442-2004《指挥自动化系统互操作性等级及评估》和IEEE 标准化术语集中，互操作性的定义为“两个或多个系统或部件交换信息并相互使用已交换的信息的能力”。在GB/T 15532-2008 中，将互操作测试的内容规定为两种接口测试和控制信息测试。因此，在国产基础软件集成应用测试中，互操作测试是指不同国产基础软件之间的接口测试和控制信息测试，包括：
● 接口测试：所加入的软件单元与已集成软件之间的接口，已集成软件与支持其运行的其他软件、运行程序或硬件设备的接口。
● 控制信息测试：包括信号或中断的来源、目的、优先级、表示格式或表示值，以及响应方式和响应时间等。
根据GB/T 11457-2006 和GB/T 15532-2008 对测试及性能测试的规定，在国产基础软件集成应用测试中，集成性能测试是指按照设计的场景和评价指标，从时间特性和资源利用性两个方面对不同的基础软件组合进行测试，从而达到能够比较分析不同基础软件组合在应用中表现出的性能。
● 时间特性方面主要包括响应时间、平均响应时间、响应极限时间，吞吐量、平均吞吐量、极限吞吐量，周转时间、平均周转时间、周转时间极限。
● 资源利用性方面主要包括输入/ 输出设备、内存和传输资源的利用情况。
2 测试实施
本测试共累计开发了8 193 个互操作测试用例，分别涉及操作系统之间、数据库之间、中间件之间、数据库与中间件之间、中间件与办公软件之间，以及经由中间件的数据库与办公软件之间的互操作，通过这些测试用例与互操作测试规程相适配，形成了完整的基础软件互操作测试方法。集成性能测试共177 个测试用例，分别涉及硬件与通用操作系统、服务器操作系统与数据库、桌面操作系统与办公软件，以及服务器操作系统、数据库与中间件之间的集成性能测试，通过集成性能测试运行框架实现测试用例生成、测试脚本编译、测试任务调度及测试结果采集分析等，形成了完整的基础软件集成性能测试方法。
2.1 国产基础软件互操作测试
操作系统之间的互操作测试
开发了数据交换、信息交换、服务共享和远程控制四个互操作层次的测试用例集，对红旗桌面和服务器操作系统、中标桌面和服务器操作系统的20种组合进行了测试，如表1 所示。
数据库之间的互操作测试
开发了数据模式迁移、用户数据迁移、数据库访问接口兼容等几个互操作层次的测试用例集，测试了人大金仓数据库和达梦数据库的2 种组合，组合方式如下：
● 人大金仓数据库6.0 和达梦数据库6.0；
● 人大金仓数据库7.0 和达梦数据库7.0；
中间件之间的互操作测试
开发了应用服务器与消息中间件之间的紧耦合和不同中间件之间的松耦合测试用例集，测试了共计9 种组合，组合方式如下：
紧耦合：
● 东方通应用服务器**Web5.0 和消息中间件**Link/Q7.2；
● 东方通应用服务器**Web5.0 和金蝶Apusic消息中间件V6；
● 东方通应用服务器**Web5.0 和金蝶Apusic消息中间件V7；
● 金蝶Apusic 应用服务器V6 和消息中间件V6；
● 金蝶Apusic 应用服务器V6 和东方通消息中间件**LinkQ7.2；
● 东方通应用服务器**Web5.0 和网驰OnceOS 消息中间件3.0；
松耦合：
● 东方通集成中间件**Integrator4.1 和应用服务器**Web5.0；
● 东方通集成中间件**Integrator4.2 和应用服务器**Web5.0；
● 网驰集成中间件OnceDI3.0 和东方通应用服务器**Web5.0；
数据库与中间件之间的互操作测试
开发了应用服务器与数据库的互操作测试集，包括数据源的创建和配置、基本操作、模拟应用场景测试用例集，测试了共计8 种组合，组合方式如下：
● 人大金仓数据库6.0 和东方通应用服务器5.0；
● 人大金仓数据库7.0 和东方通应用服务器5.0；
● 人大金仓数据库6.0 和金蝶应用服务器V6；
● 人大金仓数据库7.0 和金蝶应用服务器V7；
● 达梦数据库6.0 和东方通应用服务器5.0；
● 达梦数据库7.0 和东方通应用服务器5.0；
● 达梦数据库6.0 和金蝶应用服务器V6；
● 达梦数据库7.0 和金蝶应用服务器V7；
中间件与办公软件之间的互操作测试
开发了中间件与办公软件之间基于电子表单文档的结构化数据互操作测试用例集，测试了东方通应用服务器**Web 和永中office 之间的2 种互操作组合，组合方式如下：
● 东方通应用服务器**Web5.0 和永中Office2009；
● 东方通应用服务器**Web5.0 和永中Office2013；
数据库、中间件与办公软件之间的互操作测试
开发了数据库、应用服务器与办公软件之间结构化数据互操作尤其是压力情况下互操作测试用例集，测试了人大金仓数据库、东方通集成中间件**Integrator 和永中office 共计2 种组合，组合方式如下：
● 人大金仓数据库6.0、东方通中间件**Integrator4.1 和永中office2009；
● 人大金仓数据库7.2、东方通中间件**Integrator4.2 和永中office2013；
综上，在国产基础软件互操作测试中，共进行了六大类43 种组合的测试。
2.2 国产基础软件集成性能测试
硬件与通用操作系统集成性能测试从操作系统访问硬盘、网络设备等的效率和可靠性，如吞吐量、延迟等开发了试用例集，共计测试了红旗桌面操作系统和服务器操作系统4 种组合，组合方式如下：
● 红旗桌面操作系统V6.0；
● 红旗桌面操作系统V8.0；
● 红旗服务器操作系统V3.0；
● 红旗服务器操作系统V4.0；
服务器操作系统与数据库集成性能测试
从数据库基本操作、并发查询、并发更新和TPC 基准性能测试等几个层面对服务器操作系统与数据库组合的访问效率进行用例集设计，开发了测试工具及用例集，共计测试了红旗服务器操作系统和人大金仓数据库、达梦数据库3 种组合，组合方式如下：
● 红旗服务器操作系统V4.0 和人大金仓数据库7.0；
● 红旗服务器操作系统V4.0 和达梦数据库7.0；
● 中标服务器操作系统V5.0 与人大金仓数据库6.1；
桌面操作系统与办公软件集成性能测试
从办公软件的响应速度，启动时间等方面进行测试用例集设计和开发，测试了中标桌面操作系统和中标普华office，红旗桌面操作系统和永中office共计4 种组合，组合方式如下：
● 中标桌面操作系统V5.0 和中标普华office5.0；
● 中标桌面操作系统V5.0 和中标普华office6.0；
● 红旗桌面操作系统V6.0 和永中Office2009；
● 红旗桌面操作系统V6.0 和永中Office2012；
服务器操作系统、数据库与中间件集成性能测试
开发了标准化的测试用系统，建立了若干面向典型应用领域的性能指标，测试基础软件组合的效率及可靠性，形成相应的基准库。测试了中标服务器操作系统、人大金仓数据库和东方通**Web 应用服务器共计2 种组合，组合方式如下：
● 中标服务器操作系统V5.0、东方通应用服务器5.0 和人大金仓数据库6.0；
● 红旗服务器操作系统V4.0、东方通应用服务器5.0 和人大金仓数据库7.0；
综上，在国产基础软件集成性能测试中，共进行了四大类13 套组合的测试。
3 测试结果
通过对不同国产基础软件组合进行的互操作性和集成应用性能测试以及对重大示范应用类课题进行的验收测试，发现了部分基础软件互操作中存在缺陷，详细情况如下所述，并对国产基础软件的集成应用性能进行了初步的比较分析，如表2 所示。
( 1) 操作系统之间的互操作测试：通过实施6 种操作系统的20 种组合测试，共发现40 个缺陷，主要分布在数据交换、信息交换、服务共享和远程控制等方面。已将上述缺陷报告给相关操作系统生产厂商，其中宽字符串打印到标准输出中后errno 值改变与ssh 登陆远程操作系统返回信息编码格式不统一等7 个缺陷厂商反馈已在新版本软件中修正。
(2) 中间件之间的松耦合和紧耦合互操作测试：
通过实施应用服务器中间件和消息中间件等中间件的9 种组合测试，共发现4 类Web 服务协议不匹配缺陷和1 类应用服务器使用消息驱动Bean 与消息中间件实现互操作的不适配缺陷。其中，4 类Web 服务协议不匹配缺陷包括13 个具体缺陷，主要分布在消息组成、消息结构、数据类型和消息附件等方面，1 类应用服务器使用消息驱动Bean 与消息中间件实现互操作的不适配缺陷，包括124 个具体缺陷，主要分布在消息头、消息设置、基本消息收发、基本链接、主题链接、消息浏览、临时队列、Selector 消息选择、主题会话、复杂消息收发等12 个方面。通过将上述缺陷报告给相关中间件生产厂商，上述4类Web 服务协议不匹配的13 个缺陷已在新版本软件中修正。
(3) 数据库之间的互操作测试：通过实施两种数据库之间的迁移测试，共发现41 个缺陷，具体包括37 个数据类型迁移缺陷、1 个视图迁移、1 个模式迁移、1 个存储过程迁移和1 个函数迁移缺陷。通过将上述缺陷报告给相关数据库生产厂商，上述缺陷已在新版本软件中修正。
(4) 数据库与中间件之间的互操作测试：通过实施两种数据库和两种中间件之间的8 种组合测试，共发现5 个缺陷，包括1 个jdk 标准支持缺陷、2 个jdbc4 标准方法未实现缺陷、1 个ejb 标准方法未实现缺陷和1 个配置XA 数据源的缺陷。通过将上述缺陷报告给相关数据库和中间件生产厂商，上述5 个缺陷已在新版本软件中修正。
4 结语
在国产基础软件集成应用测试实施过程中，开展了基础软件集成应用测试方面的研究，建立了通用的国产基础软件集成应用测试体系，包括测试规范、评价指标、测试工具和用例集、测试管理与服务系统等，初步形成了开展基础软件集成应用测试的能力。未来将根据基础软件产品出现的新功能和新变化，完善和改进测试体系，同时探索建立面向具体核心应用的性能指标体系。
国产基础软件集成应用测试的实施将有助于解决国产基础软件产品在集成应用中的互操作、集成性能以及用户信心、市场影响力等问题，有助于形成提供基础软件集成应用测试服务的长效机制，促进国产基础软件产品的研发和应用，从而加快产业发展提高产品核心竞争力，为实现专项总体目标奠定基础。
************************************************************* ITSS、培训、服务、资格、评估、ITSS培训师、ITSS评估师、实施ITSS、ITSS符合性、ITSS服务工程师、ITSS服务项目经理、ITSS标准、ITSS咨询、ITSS工具、IT服务监理、ITSS体系、ITSS服务质量、评价、指标、运维、治理、咨询、ITSS出版物、ITSS产品、服务监理工具、服务质量评价工具、标准符合性评估工具、服务管理工具、服务治理工具、系统监控工具、辅助决策分析、服务支持管理、基础设施监控、ITSS基础教材、ITSS标准、ITSS服务人员培训教材、标准化、专业化、人员（People）、流程[1]（Process）、技术（Technology）和资源（Resource），简称PPTR、规划设计（Planning&Design）、部署实施（Implementing）、服务运营（Operation）、持续改进（Improvement）和监督管理（Supervision），简称PIOIS、服务交付规范、资源要求、外包管理、服务交付、分类、代码、服务指南、通用要求、指标体系、ITSS落地实践交流-QQ群：21542747
| 
转播
分享
淘帖
()