Quels sont les avantages et inconvénients des tests automatisés ?

2020 et le début de cette nouvelle décennie sera, à coup sûr, marqué par les tests automatisés. Les enjeux liés à la fiabilité et à la qualité des livrables sont devenus si importants que l’automatisation est incontournable. Mais beaucoup d’équipes de tests et d’entreprises n’en sont pas encore là et la route qui les sépare de l’automatisation est encore longue. 

Pour ceux dans le doute face à l’ampleur de la tâche, ceux qui n’oseraient pas se lancer, ceux qui auraient déjà essuyés un ou plusieurs échecs de mise en place de tests automatisés, voici un rappel des avantages à automatiser les tests de vos applicatifs. Comme on est transparent, on vous présente aussi les rares inconvénients ;-)

Les avantages directs et indirects des tests automatisés de vos applicatifs.

• La productivité.

Sans surprise, le gain de productivité est l’avantage direct de l’automatisation de vos tests de non régression. Non seulement cela vous permet de tester plus vite et donc plus mais également de dégager vos équipes des tâches chronophages et démotivantes. 

Tout le temps passé par vos équipes à l’exécution des tâches pour les tests manuels ou même « semi-automatisé », c’est du temps retrouvé pour continuer d’améliorer la qualité de vos livrables. Par exemple en augmentant le patrimoine de tests. 

• Amélioration de la qualité.

Il ne faut jamais perdre de vu l’objectif des tests de non régression : améliorer la qualité de vos livrables. Et l’automatisation est un pas de géant en ce sens. Premier levier sur la qualité : elle élimine les erreurs “humaines”. Deuxième levier : en testant plus vite, on teste plus et on obtient une couverture de tests plus large de votre applicatif. Plus d’erreurs “humaines” et une couverture plus large : amélioration directe de la qualité.

• Notoriété, service et satisfaction client.

C’est la conséquence du point 1. et 2.Une productivité augmentée permet une amélioration presque continue (tout comme les tests devraient l’être ;-) )des fonctionnalités, pour répondre aux demandes des utilisateurs et permettre d’améliorer la qualité des livrables. 

Plus de fonctionnalités avec un taux de dysfonctionnements presque nul c’est le Graal à atteindre pour obtenir des clients satisfaits, voire très satisfait. Et quand on sait que fidéliser un client coûte 10 fois moins cher que d’en acquérir un nouveau, l’équation est simple à comprendre. Un client fidèle achète plus que les autres, devient un ambassadeur de votre entreprise, participe à l’amélioration de votre offre … comment s’en passer ? Comment ne pas tout mettre en œuvre pour le satisfaire ? L’étape incontournable qui, lorsque nous sommes clients, demandons par défaut : un logiciel et un service de qualité. Rien de pire que d’avoir à disposition une nouvelle version, souvent imposée, qui fonctionne plus mal que la version précédente. 

• Sérénité pour les équipes marketing et développement.

La qualité des livrables est souvent un point d’achoppement entre les équipes marketing et les développeurs. Pour les uns les délais sont toujours trop long, pour les autres toujours trop courts et quand il y a un “bug” c’est la faute de personne. Au-delà de cette présentation caricaturale, les relations entre les équipes impliquées dans un projet de tests logiciels sont souvent la clef du succès et cela le sera d’autant plus pour la mise en place de tests automatisés. 

Une mauvaise communication entre les équipes est la raison de 19%* des échecs d’un projet de test.

• Augmentation du chiffre d’affaires.

Les 4 points précédents ont obligatoirement un impact positif sur le chiffre d’affaires de votre entreprise : diminution des coûts liés aux tests, amélioration de la qualité des livrables, augmentation de la notoriété de votre marque, diminution des coûts de développement. Sur ce dernier point on estime rarement le coût suite aux régressions qui arrivent en production. Ce temps passé par vos équipes est le plus coûteux et toujours dans l’urgence. 

Le tableau est idyllique et à le regarder il n’y a aucune raison de ne pas automatiser vos tests de non régression. Mais il ne faut pas s’y tromper, l’automatisation des tests est encore perçue comme une “douleur” et un obstacle difficile de franchir. Rares sont les entreprises qui industrialise l’automatisation de leurs tests de non régression. Pour réussir il faut : une équipe, une stratégie de tests et surtout l’expertise. Et cela fait partie des principaux inconvénients des tests automatisés.

Les inconvénients directs et indirects des tests automatisés de vos applicatifs.

• Mise en œuvre complexe (temps / délai).

Pour réussir à automatiser vos tests de non régression il faut être prêt ! Le challenge est de taille mais la récompense est belle. Si vous voulez tout faire, cela va vous demander du temps, beaucoup de temps, des ressources humaines, beaucoup de ressources humaines. 

Le projet ne peut se mener seul et doit être le fruit d’une volonté commune pour améliorer la qualité des livrables de votre entreprise. Sans cela tous les obstacles que vous aurez à franchir vous ralentirons, vous découragerons et vous abandonnerez votre projet d’automatisation pour retourner aux impératifs (urgences) du moment.

• Ne permet pas de tout tester.

Il ne faut pas croire à cette chimère du “tout tester”. Manuellement ou automatiquement vous ne pourrez “jamais” tout tester ou alors le R.O.I d’une telle ambition sera catastrophique. D’une part certaines fonctions ne sont pas automatisables (ex : reconnaissance faciale) et d’autre part, automatiser l’interopérabilité de différents logiciels (ERP, Supply Chain …) est fastidieux.

Vous conserverez un pourcentage de test manuel pour répondre à deux logiques : possibilité d’automatiser et temps nécessaire à l’automatisation Vs test manuel.

• Maintien en conditions opérationnelles.

Plus qu’un inconvénient, c’est la principale difficulté une fois l’automatisation en place : maintenir en conditions opérationnelles l’infrastructure et le patrimoine de test en interne. Ce sont autant de coûts cachés qu’il faut anticiper pour choisir l’organisation qui vous correspondra le mieux tenant compte des compétences au sein de vos équipes.

—

Avec la meilleure industrialisation des tests automatisés de non régression notre expérience prouvent que l’on peut atteindre 80% du patrimoine de tests. Pour votre cas c’est peut-être plus ou peut-être moins ? Pour atteindre un tel score il faut une très grande maîtrise des processus et surtout des partenaires fiables pour s’appuyer sur les compétences de chacun.

Lorsqu’une entreprise atteint des taux d’automatisation et de réussite aussi élevés, elle devient un des leaders sur son marché avec des livrables plus rapides et plus fréquents, avec beaucoup moins régression tout en ayant rétréci le cycle de mise en production ou de publication. Et n’oublions jamais, toutes ces améliorations se traduisent par des résultats commerciaux tangibles.