L’exécution de l’automatisation et analyse des tests fonctionnels UI.
Dans les processus de tests automatisés, nous distinguons trois phases distinctes et récurrentes : création et maintenance des scénarios, exécution et analyse des résultats des tests. Nous avons traité dans un article précédent les enjeux de la création et de la maintenance des scénarios automatisés pour des tests fonctionnels UI. Attaquons cette fois-ci la phase n°2 et 3 : l’exécution et l’analyse des résultats.
Exécution des tests automatisés: les 3 enjeux
Il s’agit de la phase d’automatisation proprement dite : des “robots” exécutent les parcours sur des cibles (ex : Navigateur, smartphone, …) avec des jeux de données spécifiques. Il est impératif d’étudier le comportement de l’outil d’automatisation face aux problématiques suivantes :
- Parallélisme :
Etudier comment le moteur d’orchestration gère le séquençage des tests : il en découle une durée d’exécution de l’ensemble de la couverture. L’objectif n’est pas uniquement de jouer les parcours les uns derrière les autres mais d’exécuter simultanément des parcours indépendants. C’est un gain de temps considérable.
- Segmentation des devices (navigateurs / smartphones / tablettes …) :
Au vu du nombre de versions de navigateurs existantes et du nombre de téléphones différents, cette problématique est fondamentale et elle est liée au point précédent (parallélisme).
- Stratégie de gestion des faux positifs/négatifs :
Comment l’outil gère-t-il les cas suivants (non exhaustifs) :
– Indisponibilité temporaire d’un service tier (exemple : l’authentification) ;
– Accès internet temporairement hors-service (si l’applicatif nécessite une connexion internet) ;
– Un problème hardware sur un téléphone (pour un test d’App mobile).
Si la solution est déployée sur site, surtout ne sous estimez pas la mise en œuvre et la maintenance de la configuration hardware / software nécessaire.
L’analyse des résultats et découverte des régressions.
Il s’agit d’étudier le processus de restitution de la phase 2, la pertinence des résultats et la fiabilité des informations disponibles pour investigation. Il faut mettre en place un processus d’analyse des régressions pour fiabiliser les cas avérés et fournir un maximum d’informations aux développeurs. Car tout cela n’a qu’un seul objectif : améliorer la qualité des livrables. Et, pour cela, il faut pour chaque régression remonter à la cause racine du dysfonctionnement.
Il est important que tous les résultats soient historisés pour suivre : l’évolution de la couverture de tests et des dysfonctionnements levés, au fil des itérations. Les résultats peuvent être présentés dans des tableaux de bord dédiés ou remontés dans des outils de consolidation via des API.
Pour conclure.
Une même trame doit être appliquée pour l’industrialisation de l’automatisation de tous vos tests : conception, intégration, exécution et analyse. Il ne vous reste plus qu’à vous pencher sur l’analyse des deux principaux cas usuels : le monde Desktop Web (navigateurs) et le monde des applications mobiles.
CloudNetCare
Pour que chaque clic soit une expérience réussie
On pilote vos tests, vous gardez le contrôle !
Grâce à notre expertise, vos applications et sites web restent fluides, sans bugs ni frictions, vous permettant de vous concentrer sur votre innovation et garantir ainsi une expérience utilisateur irréprochable.
Notre cabinet français d’experts en tests logiciels, automatise, gère et analyse vos tests quotidiennement pour détecter et corriger les dysfonctionnements avant qu’ils n’affectent vos utilisateurs.