Les plateformes de tests créent de faux positifs. Vraiment ?

Une campagne de tests automatisés ou non est un succès si les tâches réussissent ou échouent. Dans les deux cas, le projet progresse pour autant que l’on ne se retrouve pas face à des faux positifs. Les tests automatisés ont la fâcheuse réputation de créer beaucoup de faux positifs.

Dans les faits, une plateforme fiable combinée avec une vraie méthodologie d’analyse des résultats permettra de réduire considérablement le nombre de faux positifs.

Les tests automatisés et les faux positifs.

“À force de crier au loup…” Cet adage populaire illustre parfaitement la perception des tests automatisés par un bon nombre d’équipes de développement. Vous étiez persuadé que l’automatisation de vos scénarios était le secret de l’amélioration de la qualité de vos livrables, mais vous voici avec une solution que vos équipes considèrent comme peu fiable et elles ont raison.

Par opposition, si vous boudez les tests automatisés c’est que vous leur privilégiez les tests manuels. Sauf que l’adage cette fois si c’est “l’erreur est humaine”. La répétition de tests, l’usure, le temps passé et la concentration vont se dégrader naturellement et, à un moment donné des faux positifs pourront être introduits ou, pire, des faux négatifs pourront passer à travers les mailles du filet.

La qualité des faux remontés par une plateforme d’automatisation va dépendre de plusieurs critères qu’il vous faut prendre en considération. Si vous n’êtes pas rigoureux sur la sélection de votre outil d’automatisation et que vous ne mesurez pas les tenants et aboutissant d’une campagne d’automatisation il y a fort à parier que votre équipe de développement sera réticente à utiliser ce type de plateforme.

Les conditions sinequanone d’une campagne réussie.

Les tests automatisés peuvent créer des faux positifs et en plus grande quantité que des tests manuels. Par essence, ils permettent de tester 10 à 100 fois plus et une plateforme d’automatisation n’a pas (encore) la finesse d’analyse d’un testeur logiciel. Mais il est tout à fait possible de réduire considérablement le nombre de faux positifs et, pour cela, il faut réunir trois conditions :

• Une plateforme fiable : toutes les plateformes d’automatisation ne se valent pas. Et l’une des principales différences, c’est la pertinence des défauts levés. Quelles méthodes la plateforme intègre avant d’avérer un défaut ?
• Intégrer les limites de l’automatisation : l’intelligence artificielle sera, un jour, capable de filtrer les dysfonctionnements avant de les envoyer aux équipes de développement. Mais, d’ici là, c’est aux équipes de tests et au responsable QA de vérifier que la plateforme a remonté de vrais positifs ou négatifs.
• Un MOC du patrimoine : l’automatisation des tests ne dispense pas de maintenir en conditions opérationnelles le patrimoine de tests. Si les logiciels, les navigateurs et les outils de tests (Selenium, Appium…) ne sont pas maintenus à jour, il est normal de vous retrouver avec des faux positifs.

Une fois ces conditions réunies, vous êtes sûr de diminuer considérablement le nombre de faux positifs de vos tests automatisés et de regagner la confiance de votre équipe de développement.

L’importance d’une plateforme fiable et d’une méthodologie d’analyse.

Il n’y a pas de secret, la réussite de l’automatisation de vos tests va passer essentiellement par les capacités de la plateforme retenue. Un outil de tests fiables, c’est un outil qui permet d’une manière irrévocable de lever ou non un défaut lors de vos tests. La plateforme ne doit pas se contenter de lever un défaut dès qu’elle le rencontre. Elle doit réitérer le test dans les mêmes conditions et, seulement si, le défaut est toujours avéré, il doit être remonté.

Là, il faut analyser le résultat pour vérifier que le défaut n’est pas dû à un web service temporairement indisponible, que le code de l’application n’est pas été modifié entre deux tests, que le scénario est toujours conforme… In fine, après avoir qualifié et cartographié les défauts levés, il ne reste que les vrais dysfonctionnements.

—

Dans les faits, ce ne sont pas les tests automatisés qui ne sont pas fiables. C’est la plateforme qui est perfectible et le traitement des résultats qui n’est pas efficace. Un processus automatisé est infaillible dans son exécution, mais si la configuration est erronée ou les résultats mal exploités, il est normal de laisser passer un nombre considérable de faux positifs.

Ne vous fiez donc pas aux préjugés sur l’automatisation. L’automatisation des tests est, à coups sûrs, un gain de temps et un gage de fiabilité.