Nous contacter au +33 1 84 20 44 13

L’exécution de l’automatisation et analyse des tests fonctionnels UI.

Dans les processus de tests automatisés, nous distinguons trois phases distinctes et récurrentes : création et maintenance des scénarios, exécution et analyse des résultats des tests. Nous avons traité dans un article précédent les enjeux de la création et de la maintenance des scénarios automatisés pour des tests fonctionnels UI ici. Attaquons cette fois-ci la phase n°2 et 3 : l’exécution et l’analyse des résultats.

Exécution des tests automatisés – les 3 enjeux

Il s’agit de la phase d’automatisation proprement dite : des “robots” exécutent les parcours sur des cibles (ex : Navigateur, smartphone, …) avec des jeux de données spécifiques (rappel sur l’importance des jeux de données). Il est impératif d’étudier le comportement de l’outil d’automatisation face aux problématiques suivantes :

  • Parallélisme :

Etudier comment le moteur d’orchestration gère le séquençage des tests : il en découle une durée d’exécution de l’ensemble de la couverture. L’objectif n’est pas uniquement de jouer les parcours les uns derrière les autres mais d’exécuter simultanément des parcours indépendants. C’est un gain de temps considérable.

  • Segmentation des devices (navigateurs / smartphones / tablettes …) :

Au vu du nombre de versions de navigateurs existantes et du nombre de téléphones différents, cette problématique est fondamentale et elle est liée au point précédent (parallélisme). 

  • Stratégie de gestion des faux positifs/négatifs :

Comment l’outil gère-t-il les cas suivants (non exhaustifs) :
– Indisponibilité temporaire d’un service tier (exemple : l’authentification) ;
– Accès internet temporairement hors-service (si l’applicatif nécessite une connexion internet) ;
– Un problème hardware sur un téléphone (pour un test d’App mobile).

Si la solution est déployée sur site, surtout ne sous estimez pas la mise en œuvre et la maintenance de la configuration hardware / software nécessaire.

L’analyse des résultats et découverte des régressions.

Il s’agit d’étudier le processus de restitution de la phase 2, la pertinence des résultats et la fiabilité des informations disponibles pour investigation. Il faut mettre en place un processus d’analyse des régressions pour fiabiliser les cas avérés et fournir un maximum d’informations aux développeurs. Car tout cela n’a qu’un seul objectif : améliorer la qualité des livrables. Et, pour cela, il faut pour chaque régression remonter à la cause racine du dysfonctionnement (sujet déjà évoqué ici).

Il est important que tous les résultats soient historisés pour suivre : l’évolution de la couverture de tests et des dysfonctionnements levés, au fil des itérations. Les résultats peuvent être présentés dans des tableaux de bord dédiés ou remontés dans des outils de consolidation via des API.

Pour conclure

.

Une même trame doit être appliquée pour l’industrialisation de l’automatisation de tous vos tests : conception, intégration, exécution et analyse. Il ne vous reste plus qu’à vous pencher sur l’analyse des deux principaux cas usuels : le monde Desktop Web (navigateurs) et le monde des applications mobiles.

Les dernières actualités

Objectifs de tests VERSUS conditions réalistes !

Comment passer d'objectifs de tests à des conditions réalistes ? C’est le premier défi à relever lors de la mise en place de tests automatisés. Même si les objectifs sont légitimes, il faut faire attention à ce que cela implique réellement ...

Présentation de la fonction supervision applicative de la plateforme CloudNetCare.

Votre site internet ou application mobile représente un enjeu de plus en plus stratégique pour la vente, l’acquisition et la fidélisation de nouveaux clients ? Les enjeux sont majeurs et l’attente des utilisateurs est de plus en plus élevée. Vous avez certainement mis en place des tests de non régressions et peut-être même automatisé, voire industrialisé ces derniers pour accélérer les mises en production et améliorer la qualité de vos livrables.

ESSAYER GRATUITEMENT
2019-07-12T16:08:21+01:00