测试工程师在开始一个新项目之前问的一个最基本的问题是他们应该使用什么工具来帮助完成自动化测试。幸运的是，Gartner的年度报告可以帮助开发团队回答这个问题：Gartner魔力象限自动化软件测试报告。

Gartner魔力象限自动化软件测试报告主要分为四个象限：领导者、挑战者、远见者和特定领域者。你可以在实际报告中详细阅读每个象限的详细描述。但市场领导者由对Gartner所认为的三个关键用例的支持与否来决定，这三个用例是：

1.    1.工具必须支持移动应用。

2.    2.他们必须有自适应设计。

3.    3.他们必须支持诸如ERP（企业资源规划系统）和SAP（企业系统应用产品管理软件）这样的应用

今年Gartner魔力象限报告提到的厂商

在今年的Gartner魔力象限自动化软件测试报告中，Gartner观察了以下12个主流厂商：

HewlettPackard Enterprise

IBM

Tricentis

Worksoft

Oracle

SmartBear

Ranonex

Progress

AutomationAnywhere

Bordland

TestPlanet

OriginalSoftware

我认为值得一提的是Gartner不偏向任何一家他所评论的厂商并在他的研究中保持了中立的态度。因此在理论上厂商的排名会尽可能保持无偏颇。

领导者

以下为Gartner在其研究中选择的自动化测试领域的领导者的公司：

·         Hewlett Packards企业

在Gartner评估的12个测试工具供应商中，Hewlett Packards企业（HPE）在领导者象限中被排在第1位。Gartner评估一个公司的执行力和其视野的完整性并以此选择领导者。（查看报告中的评估标准定义部分以了解更多领导者选择的过程）在今年评审的所有公司中，HPE对于该标准拥有最高的匹配度。

有诸多因素导致HPE排在第1。其中的主要原因是它可以应对敏捷实践和移动应用交付中面临的大部分问题，并且它的服务网络和技术提供伙伴覆盖面很广。

Gartner还提到一些根据客户反馈调查而得到的注意事项，例如HPE缺乏Linux

技术支持并且其定价和许可机制需要简化。

作为一个HPE的多年老用户，我完全赞同Gartner对于HPE的缺点的评估。好消息是，似乎HPE听取了客户的批评意见，并已开始在多个方面进行精简，例如新的定价策略和简洁功能测试的灵活消费许可模式。

·         IBM

IBM在领导者中排在第2位。（值得注意的是，这些排名每年都在变化；例如，在2014年IBM排在第一位。）

与大多数公司一样，IBM的测试工具集随着诸如Rational和Green Hat的开发成功不断壮大。它的功能测试工具的大部分优势来自于对包括windows，Mac和移动平台在内的多种平台和技术的支持。一些用户的调查结果表明IBM的缺点之一是产品的更新和支持较为缓慢。

·         Tricentis

Tricentis自我标榜为“持续测试公司”。Gartner发现Tricentis的优势之一是对于敏捷测试和持续改进过程的广泛支持。这与其自我标榜也保持一致。也有人指出，Tricentis的定价模型复杂并且测试项目较庞大，这使得采用Tricentis的过程较为困难。

·         Worksoft

Worksoft以ERP业务和端到端解决方案而被广泛认知。Gartner在其用户调查中提到易用性和客户支持是Worksoft的优势。用户也同时发现和其它工具糟糕的集成效果是worksoft的一大弱点。

领导者的总结到此结束。其他公司被放在其余象限，具体内容如下：

挑战者

挑战者也是重点的备选方案。但它们只支持2个定义的用例。今年只有一个公司在这个象限中。

·         Oracle

Oracle的应用程序测试套件可以支持许多事情。但其最知名的可能是和测试Oracle SOA与打包的应用程序的紧密集成。客户高度评价它的测试管理解决方案，但同时也抱怨维护Oracle的测试脚本有时过于具有挑战性。

远见者

远见者，顾名思义，是那些可以为市场带来革新或快速支持新技术的公司。

·         Borland

我已经了解Borland这家公司相当长的时间了，所以我很惊讶于它被列在远见者这一类。但之后我发现它几年前收购了Segue软件。老派的自动化工程师会告诉你以前segue的SilkTest是更复杂的同时开发者友好的自动化解决方案之一。所以，Gartner把Borland对于许多技术和平台的大力支持作为其优势之一也就不奇怪了。

主要的问题是，Borland通过收购和并购保持公司的成长。所以其产品介绍信息具有相当大的混乱性，这可能是为什么我没意识到它仍然涉足测试自动化领域的原因。

·         Testplanet

TestPlanet是为数不多的Gartner列出的强烈支持Apple平台的自动化测试厂商。由于其独特的、基于图像的识别方法，它有能力测试难以自动化的应用程序，特别是那些具有对象识别问题的应用。这一方面被人们广为了解。不幸的是，任何从事过以图像为基础的功能测试自动化业务的人都知道这些测试有多难维护。因此一些客户指出了难以维护这一问题。

·         Original Software

功能测试工具TestDrive的制造商丰富了远见者之一类别中的厂商。TestDrive可以处理自动化或浏览器和基于遗留系统的应用。虽然我不是“无需编码”的测试自动化解决方案的爱好者，但TestDrive确实受到了客户的高度评价。客户认为它易于使用并且使得从手动到自动化测试的迁移变得更简单。

特定领域者

特定领域者通常指那些为特定的场景提供独特的测试解决方案或是新进入市场的公司。

·         SmartBear

我首先承认我对基于Boston的公司有偏爱。SmartBear就是其中之一。据我所知，SmartBear有一些比所有列出的测试厂商更让人能负担起的测试工具。它也有更受欢迎的API测试工具之一，SoapUI。Gartner提到SmartBear的优势包括对于测试的坚定支持和吸引人的价格。Gartner提到SmartBear像许多其他公司一样通过收购壮大公司。因此与它的其他工具的集成有时会成为一个挑战。例如，在使用它的TestComplete功能测试工具时我不能通过API调用ReadyAPi产品的功能。 但这种情况不会出现在HPE的统一功能测试工具UFT GUI和UFT API上。

·         Ranorex

这是Ranorex第一次出现在年度的魔力象限报告上。Ranorex除了拥有我认为最酷的一些解释风格的视频外，它支持很多跨越各种平台的技术-都来自一种工具。Gartner把它列为Ranorex的优势之一。Gartner提到的一个警告是Ranorex把注意力主要集中在功能测试自动化上，缺乏一个完整的，端到端的解决方案。但是这个警告可能并不是所有公司的问题。

·         Progress

对于那些可能不太熟悉这家公司的人，一件事可能引起了你的注意。Progress最近收购了Telerik，Telerik是流行的免费调试工具Fiddler的生产厂商。我认识一些测试工程师，他们确实在使用Progress的测试工具作为他们Selenium

自动化测试的前端。Progress的优势在于它与VisualStudio和VisualStudio所支持语言的集成。但Gartner认为，当你把Progress工具与非微软技术集成时应该保持谨慎。

·         Automation Anywhere

我并没有试过Automation Anywhere，但Gartner列出了它的优势之一，即为非技术的测试人员和团队提供了解决方案。用户也为其产品提供了用户报告并做出了强烈的支持。Automation Anywhere不支持测试诸如SAP一样的打包应用，也不支持本地移动应用程序测试。

Selenium在哪里？

以上就是今年所评估的象限测试工具生产商。

有些人可能会想知道为什么你最喜欢的测试自动化工具（如Selenium）没有列出。原因是本报告只侧重于支持Gartner认为的“关键领域”的工具，并且选择的工具至少拥有上文提到的三个具体的用例的两个。这可能是你没有看到你最喜欢的工具的原因。

我的重要结论

报告所作出的一个有趣的战略规划设想是“到2020年，Selenium WebDriver将成为功能测试执行的标准，这将削弱哪些不能提供强大的高层测试功能的供应商。”

我完全同意这种说法，我认为生产商确实会采用Selenium WebDriver的其中一个主要因素是：W3C标准的产生。

W3C WebDriver标准

目前已经有W3C的WebDriver标准的草案；一旦它被批准并成为官方的标准，浏览器厂商将需要负责建立自己的基于浏览器的Selenium WebDriver的实现。一旦出现这种情况，所有的工具供应商将不得不支持Selenium。因为它将不再仅仅是一个开源工具，它实际上将是一个W3C标准。

这就是为什么Gartner的话真的引起了我的共鸣。 我相信大多数厂商都开始更好地与Selenium进行集成。例如，在一年多前SmartBear开始在他的功能测试工具TestComplete中增加Selenium的集成。今天，在TestComplete的IDE中，你可以在TestComplete的测试项目中包含你的Selenium WebDriver测试，运行它们，并分析测试结果。

一个更加戏剧化的例子是HPE近期宣布的leanFT。leanFT通过使用UFT中的新功能改变Selenium的方法，结合了供应商工具和开源工具两者中最好的部分。它基本上可以让你用与开发者相同的IDE和语言创建自动化脚本。此外，你不需要只局限于leanFT SDK开发自动化工具。你可以在同样的项目中把Selenium和leanFT结合在一起。我想我们会看到越来越多的厂商采用这种方法。

未来是开放创新的

同时，在去年的两个我参加的HP探索会议中，你真的可以感觉到HPE已经完成了180度的转变，开始全心全意拥抱开源技术。这已经不再是那种以前客户感觉到的把我们和他们进行区别的态度了。

我认为越来越多的厂商会遵循这种开放式的创新模式。

因为Selenium本质上只是一个API，而不是一个测试工具，所以测试团队理所当然的需要为基于供应商的测试工具建立大量的功能。因此，我可以看到未来供应商会加紧把各种增强的功能和Selenium无缝集成，例如报告机制，以使你的自动化工作更容易。

这种开放式创新将真正帮助企业组织，因为他们将不再需要选择。他们将能够为他们的每一个项目选择最好的工具/解决方案。

在DevOps时代的自动化测试

技术变化很快，Gartner魔力象限自动化软件测试报告确实能帮助我们把握未来测试趋势的脉搏并且了解哪些工具会支持哪些技术。 当涉及到最终使用到项目中的工具和技术时它确实能帮助我做出更好的计划和选择。

我也感觉到，随着越来越多的企业以更快的速度开发软件并且迁移动到一个更具有DevOps/持续部署特点的开发模式上时，测试自动化比以往更为重要。

我认为没有某种程度上的自动化，你不可能在今天的软件开发世界中取得成功。Gartner魔力象限是重要的值得每年阅读的报告的原因有很多。这只是其中之一。

（Joe Colantonio（TestTalks）原创）

测试工程师在开始一个新项目之前问的一个最基本的问题是他们应该使用什么工具来帮助完成自动化测试。幸运的是，Gartner的年度报告可以帮助开发团队回答这个问题：Gartner魔力象限自动化软件测试报告。

Gartner魔力象限自动化软件测试报告主要分为四个象限：领导者、挑战者、远见者和特定领域者。你可以在实际报告中详细阅读每个象限的详细描述。但市场领导者由对Gartner所认为的三个关键用例的支持与否来决定，这三个用例是：

1.    1.工具必须支持移动应用。

2.    2.他们必须有自适应设计。

3.    3.他们必须支持诸如ERP（企业资源规划系统）和SAP（企业系统应用产品管理软件）这样的应用

今年Gartner魔力象限报告提到的厂商

在今年的Gartner魔力象限自动化软件测试报告中，Gartner观察了以下12个主流厂商：

HewlettPackard Enterprise

IBM

Tricentis

Worksoft

Oracle

SmartBear

Ranonex

Progress

AutomationAnywhere

Bordland

TestPlanet

OriginalSoftware

我认为值得一提的是Gartner不偏向任何一家他所评论的厂商并在他的研究中保持了中立的态度。因此在理论上厂商的排名会尽可能保持无偏颇。

领导者

以下为Gartner在其研究中选择的自动化测试领域的领导者的公司：

·         Hewlett Packards企业

在Gartner评估的12个测试工具供应商中，Hewlett Packards企业（HPE）在领导者象限中被排在第1位。Gartner评估一个公司的执行力和其视野的完整性并以此选择领导者。（查看报告中的评估标准定义部分以了解更多领导者选择的过程）在今年评审的所有公司中，HPE对于该标准拥有最高的匹配度。

有诸多因素导致HPE排在第1。其中的主要原因是它可以应对敏捷实践和移动应用交付中面临的大部分问题，并且它的服务网络和技术提供伙伴覆盖面很广。

Gartner还提到一些根据客户反馈调查而得到的注意事项，例如HPE缺乏Linux

技术支持并且其定价和许可机制需要简化。

作为一个HPE的多年老用户，我完全赞同Gartner对于HPE的缺点的评估。好消息是，似乎HPE听取了客户的批评意见，并已开始在多个方面进行精简，例如新的定价策略和简洁功能测试的灵活消费许可模式。

·         IBM

IBM在领导者中排在第2位。（值得注意的是，这些排名每年都在变化；例如，在2014年IBM排在第一位。）

与大多数公司一样，IBM的测试工具集随着诸如Rational和Green Hat的开发成功不断壮大。它的功能测试工具的大部分优势来自于对包括windows，Mac和移动平台在内的多种平台和技术的支持。一些用户的调查结果表明IBM的缺点之一是产品的更新和支持较为缓慢。

·         Tricentis

Tricentis自我标榜为“持续测试公司”。Gartner发现Tricentis的优势之一是对于敏捷测试和持续改进过程的广泛支持。这与其自我标榜也保持一致。也有人指出，Tricentis的定价模型复杂并且测试项目较庞大，这使得采用Tricentis的过程较为困难。

·         Worksoft

Worksoft以ERP业务和端到端解决方案而被广泛认知。Gartner在其用户调查中提到易用性和客户支持是Worksoft的优势。用户也同时发现和其它工具糟糕的集成效果是worksoft的一大弱点。

领导者的总结到此结束。其他公司被放在其余象限，具体内容如下：

挑战者

挑战者也是重点的备选方案。但它们只支持2个定义的用例。今年只有一个公司在这个象限中。

·         Oracle

Oracle的应用程序测试套件可以支持许多事情。但其最知名的可能是和测试Oracle SOA与打包的应用程序的紧密集成。客户高度评价它的测试管理解决方案，但同时也抱怨维护Oracle的测试脚本有时过于具有挑战性。

远见者

远见者，顾名思义，是那些可以为市场带来革新或快速支持新技术的公司。

·         Borland

我已经了解Borland这家公司相当长的时间了，所以我很惊讶于它被列在远见者这一类。但之后我发现它几年前收购了Segue软件。老派的自动化工程师会告诉你以前segue的SilkTest是更复杂的同时开发者友好的自动化解决方案之一。所以，Gartner把Borland对于许多技术和平台的大力支持作为其优势之一也就不奇怪了。

主要的问题是，Borland通过收购和并购保持公司的成长。所以其产品介绍信息具有相当大的混乱性，这可能是为什么我没意识到它仍然涉足测试自动化领域的原因。

·         Testplanet

TestPlanet是为数不多的Gartner列出的强烈支持Apple平台的自动化测试厂商。由于其独特的、基于图像的识别方法，它有能力测试难以自动化的应用程序，特别是那些具有对象识别问题的应用。这一方面被人们广为了解。不幸的是，任何从事过以图像为基础的功能测试自动化业务的人都知道这些测试有多难维护。因此一些客户指出了难以维护这一问题。

·         Original Software

功能测试工具TestDrive的制造商丰富了远见者之一类别中的厂商。TestDrive可以处理自动化或浏览器和基于遗留系统的应用。虽然我不是“无需编码”的测试自动化解决方案的爱好者，但TestDrive确实受到了客户的高度评价。客户认为它易于使用并且使得从手动到自动化测试的迁移变得更简单。

特定领域者

特定领域者通常指那些为特定的场景提供独特的测试解决方案或是新进入市场的公司。

·         SmartBear

我首先承认我对基于Boston的公司有偏爱。SmartBear就是其中之一。据我所知，SmartBear有一些比所有列出的测试厂商更让人能负担起的测试工具。它也有更受欢迎的API测试工具之一，SoapUI。Gartner提到SmartBear的优势包括对于测试的坚定支持和吸引人的价格。Gartner提到SmartBear像许多其他公司一样通过收购壮大公司。因此与它的其他工具的集成有时会成为一个挑战。例如，在使用它的TestComplete功能测试工具时我不能通过API调用ReadyAPi产品的功能。 但这种情况不会出现在HPE的统一功能测试工具UFT GUI和UFT API上。

·         Ranorex

这是Ranorex第一次出现在年度的魔力象限报告上。Ranorex除了拥有我认为最酷的一些解释风格的视频外，它支持很多跨越各种平台的技术-都来自一种工具。Gartner把它列为Ranorex的优势之一。Gartner提到的一个警告是Ranorex把注意力主要集中在功能测试自动化上，缺乏一个完整的，端到端的解决方案。但是这个警告可能并不是所有公司的问题。

·         Progress

对于那些可能不太熟悉这家公司的人，一件事可能引起了你的注意。Progress最近收购了Telerik，Telerik是流行的免费调试工具Fiddler的生产厂商。我认识一些测试工程师，他们确实在使用Progress的测试工具作为他们Selenium

自动化测试的前端。Progress的优势在于它与VisualStudio和VisualStudio所支持语言的集成。但Gartner认为，当你把Progress工具与非微软技术集成时应该保持谨慎。

·         Automation Anywhere

我并没有试过Automation Anywhere，但Gartner列出了它的优势之一，即为非技术的测试人员和团队提供了解决方案。用户也为其产品提供了用户报告并做出了强烈的支持。Automation Anywhere不支持测试诸如SAP一样的打包应用，也不支持本地移动应用程序测试。

Selenium在哪里？

以上就是今年所评估的象限测试工具生产商。

有些人可能会想知道为什么你最喜欢的测试自动化工具（如Selenium）没有列出。原因是本报告只侧重于支持Gartner认为的“关键领域”的工具，并且选择的工具至少拥有上文提到的三个具体的用例的两个。这可能是你没有看到你最喜欢的工具的原因。

我的重要结论

报告所作出的一个有趣的战略规划设想是“到2020年，Selenium WebDriver将成为功能测试执行的标准，这将削弱哪些不能提供强大的高层测试功能的供应商。”

我完全同意这种说法，我认为生产商确实会采用Selenium WebDriver的其中一个主要因素是：W3C标准的产生。

W3C WebDriver标准

目前已经有W3C的WebDriver标准的草案；一旦它被批准并成为官方的标准，浏览器厂商将需要负责建立自己的基于浏览器的Selenium WebDriver的实现。一旦出现这种情况，所有的工具供应商将不得不支持Selenium。因为它将不再仅仅是一个开源工具，它实际上将是一个W3C标准。

这就是为什么Gartner的话真的引起了我的共鸣。 我相信大多数厂商都开始更好地与Selenium进行集成。例如，在一年多前SmartBear开始在他的功能测试工具TestComplete中增加Selenium的集成。今天，在TestComplete的IDE中，你可以在TestComplete的测试项目中包含你的Selenium WebDriver测试，运行它们，并分析测试结果。

一个更加戏剧化的例子是HPE近期宣布的leanFT。leanFT通过使用UFT中的新功能改变Selenium的方法，结合了供应商工具和开源工具两者中最好的部分。它基本上可以让你用与开发者相同的IDE和语言创建自动化脚本。此外，你不需要只局限于leanFT SDK开发自动化工具。你可以在同样的项目中把Selenium和leanFT结合在一起。我想我们会看到越来越多的厂商采用这种方法。

未来是开放创新的

同时，在去年的两个我参加的HP探索会议中，你真的可以感觉到HPE已经完成了180度的转变，开始全心全意拥抱开源技术。这已经不再是那种以前客户感觉到的把我们和他们进行区别的态度了。

我认为越来越多的厂商会遵循这种开放式的创新模式。

因为Selenium本质上只是一个API，而不是一个测试工具，所以测试团队理所当然的需要为基于供应商的测试工具建立大量的功能。因此，我可以看到未来供应商会加紧把各种增强的功能和Selenium无缝集成，例如报告机制，以使你的自动化工作更容易。

这种开放式创新将真正帮助企业组织，因为他们将不再需要选择。他们将能够为他们的每一个项目选择最好的工具/解决方案。

在DevOps时代的自动化测试

技术变化很快，Gartner魔力象限自动化软件测试报告确实能帮助我们把握未来测试趋势的脉搏并且了解哪些工具会支持哪些技术。 当涉及到最终使用到项目中的工具和技术时它确实能帮助我做出更好的计划和选择。

我也感觉到，随着越来越多的企业以更快的速度开发软件并且迁移动到一个更具有DevOps/持续部署特点的开发模式上时，测试自动化比以往更为重要。

我认为没有某种程度上的自动化，你不可能在今天的软件开发世界中取得成功。Gartner魔力象限是重要的值得每年阅读的报告的原因有很多。这只是其中之一。

（Joe Colantonio（TestTalks）原创）