L’exécution de l’automatisation et analyse des tests fonctionnels UI.

Dans les processus de tests automatisés, nous distinguons trois phases distinctes et récurrentes : création et maintenance des scénarios, exécution et analyse des résultats des tests. Nous avons traité dans un article précédent les enjeux de la création et de la maintenance des scénarios automatisés pour des tests fonctionnels UI. Attaquons cette fois-ci la phase n°2 et 3 : l’exécution et l’analyse des résultats.

Exécution des tests automatisés: les 3 enjeux

Il s’agit de la phase d’automatisation proprement dite : des “robots” exécutent les parcours sur des cibles (ex : Navigateur, smartphone, …) avec des jeux de données spécifiques. Il est impératif d’étudier le comportement de l’outil d’automatisation face aux problématiques suivantes :

• Parallélisme :

Etudier comment le moteur d’orchestration gère le séquençage des tests : il en découle une durée d’exécution de l’ensemble de la couverture. L’objectif n’est pas uniquement de jouer les parcours les uns derrière les autres mais d’exécuter simultanément des parcours indépendants. C’est un gain de temps considérable.

• Segmentation des devices (navigateurs / smartphones / tablettes …) :

Au vu du nombre de versions de navigateurs existantes et du nombre de téléphones différents, cette problématique est fondamentale et elle est liée au point précédent (parallélisme). 

• Stratégie de gestion des faux positifs/négatifs :

Comment l’outil gère-t-il les cas suivants (non exhaustifs) :
– Indisponibilité temporaire d’un service tier (exemple : l’authentification) ;
– Accès internet temporairement hors-service (si l’applicatif nécessite une connexion internet) ;
– Un problème hardware sur un téléphone (pour un test d’App mobile).

Si la solution est déployée sur site, surtout ne sous estimez pas la mise en œuvre et la maintenance de la configuration hardware / software nécessaire.

L’analyse des résultats et découverte des régressions.

Il s’agit d’étudier le processus de restitution de la phase 2, la pertinence des résultats et la fiabilité des informations disponibles pour investigation. Il faut mettre en place un processus d’analyse des régressions pour fiabiliser les cas avérés et fournir un maximum d’informations aux développeurs. Car tout cela n’a qu’un seul objectif : améliorer la qualité des livrables. Et, pour cela, il faut pour chaque régression remonter à la cause racine du dysfonctionnement.

Il est important que tous les résultats soient historisés pour suivre : l’évolution de la couverture de tests et des dysfonctionnements levés, au fil des itérations. Les résultats peuvent être présentés dans des tableaux de bord dédiés ou remontés dans des outils de consolidation via des API.

Pour conclure.

Une même trame doit être appliquée pour l’industrialisation de l’automatisation de tous vos tests : conception, intégration, exécution et analyse. Il ne vous reste plus qu’à vous pencher sur l’analyse des deux principaux cas usuels : le monde Desktop Web (navigateurs) et le monde des applications mobiles.