Les coûts de l’automatisation des tests : mythes et réalité

Publié le : 15 mai 2020

Les tests automatisés sont une solution qui fait rêver, mais de nombreux décideurs restent dissuadés par d’éventuels coûts d’un projet d’automatisation des tests fonctionnels et de non-régression.

La première solution qui vient à l’esprit est un outil open source qui, malgré sa gratuité initiale, implique des coûts cachés considérables. Une autre solution consiste à acheter ou louer un logiciel. Dans les deux cas il vous sera nécessaire d’implémenter l’infrastructure et d’avoir des personnes compétentes pour exécuter et analyser vos tests automatisés. Enfin, vous pouvez opter pour une externalisation du processus de tests. Ici, pensez à prioriser les modes de communication, la réactivité, l’expertise de l’équipe externe et les résultats obtenus.

Ils vous restent encore des questions ? Dans cet article, nous allons détailler les coûts qu’implique réellement la mise en place de l’un des trois modèles listés ci-dessus.

Automatisation des tests en interne avec un outil open source.

C’est quasiment toujours par ce modèle que les équipes débutent. Les équipes de développements étant d’abord et avant tout composées d’informaticiens, leur première approche est d’imaginer que la mise en place d’un projet d’automatisation des tests est bien plus facile que le développement d’un logiciel. Donc on prend un outil open source gratuit avec l’objectif de tout faire de A à Z : du patrimoine de tests à l’exécution.

Pour le calcul du coût d’un projet c’est rapide : c’est gratuit ! Pourtant, en pratiquant de la sorte, non seulement vous vous éloignez de votre métier initial : produire un logiciel qui répond aux besoins exprimés, mais vous vous exposez à une perte de temps et d’argent considérable.

Sous une pulsion motivante de quelques personnes en interne bien intentionnées, un nouveau projet vient de naître : la création d’une plateforme d’automatisation des tests. Partant de l’outil « gratuit » mais basique, il est alors nécessaire de l’habiller, de le rendre simple, pratique, intuitif et rapide.

Et c’est là que l’on tombe dans le travers bien connu du monde informatique, qui consiste non à répondre aux besoins de l’entreprise mais plutôt à se lancer dans une démarche qui s’apparente plus à de la R&D.

Et là, une gratuité initiale va devenir un gouffre financier, si vous vous attachez à en faire réellement le calcul prenant le détail du temps passé par vos équipes et comptabilisant, avec une véritable comptabilité analytique, le coût de votre projet.

Logiciel de tests automatisés pour gérer vos tests.

Une autre solution d’automatisation des tests bien connue consiste à acheter ou louer un logiciel pour déployer le processus de tests automatisés.

Bien entendu, il est nécessaire d’adapter ce logiciel à votre contexte en fonction du nombre d’automaticiens qui utiliseront la plateforme, ainsi que les délais d’exécution de tests. Les tarifs sont négociables en fonction des volumes et de la période d’abonnement.

À ce stade on peut déjà comparer ce modèle avec une solution précédente qui nécessite la mise en œuvre d’une plateforme. Avec un logiciel, on n’a pas à construire ou à maintenir une plateforme, l’éditeur de logiciel a déjà tout imaginé pour faire mieux et plus vite.

La mise en place de ce type de projet suppose la mise à disposition de l’infrastructure nécessaire à l’exécution de vos tests. Cela implique donc des coûts supplémentaires : le coût d’acquisition, ou de la location, du matériel, les coûts nécessaires pour maintenir en condition opérationnelle ; autant le patrimoine de tests que l’infrastructure nécessaire pour les exécuter.

Aussi, vous aurez besoin des compétences d’informaticiens pour créer les scénarios, les maintenir, les faire évoluer. Des compétences système, réseaux, mobiles sont également nécessaires, afin de maintenir l’infrastructure matérielle pour exécuter vos tests. Enfin, un coordinateur et/ou un chef de projet tests devrait être désigné pour organiser, fédérer, gérer et suivre le projet d’automatisation de vos tests.

Le temps nécessaire à vos équipes pour analyser les résultats des tests est aussi à prendre en compte, sans parler des ateliers pour faire évoluer au fil des versions le fameux patrimoine de tests qui, s’il n’évolue pas, va tomber en désuétude.

Externalisation des tests automatisés.

Tout comme dans le cadre d’un développement informatique l’externalisation peut être bénéfique ou catastrophique. Le revers maintes fois pris comme un boumerang, lors de l’externalisation de développements informatiques, vaut aussi pour les projets d’automatisation des tests.

On retrouve sur le marché d’externalisation des tests des solutions near shore, avec des armadas de testeurs réalisant les tests manuellement mais présentés comme « automatiques », parfois gérés par les centres de services situés à l’autre bout du monde.

Le choix optimal serait de collaborer avec une société « locale » où vous avez préalablement établi un climat de confiance à travers la mise en place d’un prototype sur une période suffisamment significative (de 6 mois a minima et idéalement d’un an).

Certes l’investissement initial est significatif car il faut, au mieux reprendre votre patrimoine de tests, au pire l’implémenter. Ceci implique une disponibilité d’un référent tests dans vos équipes qui va échanger fréquemment, très fréquemment avec votre prestataire pour élaborer les fondations de votre projet de tests automatisés. Car tout comme pour la construction d’un bâtiment, les fondations sont longues mais si elles sont mal faites tout peut s’effondrer à tout instant.

En cas d’externalisation, la priorité n’est pas mise uniquement sur l’outillage mais plus encore sur les modes de communication, la réactivité, l’expertise des automaticiens en charge de votre projet et les résultats obtenus.

L’externalisation réussie à un autre avantage considérable : la résilience. En effet dans le cas de l’utilisation d’un outil open source ou de l’acquisition d’une licence, le projet d’automatisation tombe très fréquemment en obsolescence même s’il arrive à fonctionner.

Un turn over trop important aboutira à ce que plus personne ne maintienne en condition opérationnelle, non seulement le patrimoine de tests, l’infrastructure matérielle mais en plus, en cas d’un outil open source, la plateforme d’automatisation de tests développée.

—

Tout comme lors d’un prêt immobilier celui qui s’arrête uniquement aux TAEG (Taux Annuel Effectif Global) ne fait pas le bon choix.

Pour bien définir vos budgets et choisir une solution d’automatisation des tests appropriée, pensez à prendre en compte toutes les ressources nécessaires à la mise en place de votre projet. L’utilisation d’un outil open source, l’acquisition d’une licence, ou la location d’un logiciel, ne sont que la partie émergée de l’iceberg.