Comment analyser les résultats de l’automatisation des tests ?

L’automatisation des tests est devenue monnaie courante dans le développement des logiciels en France. Face au test manuel, le test automatisé est plus performant et plus rapide. Seulement, l’exécution automatique des scénarios de tests prédéfinis entraîne un nombre inestimable de résultats obtenus.

À mesure que l’automatisation des tests est introduite dans le processus de livraison de logiciels, la quantité de résultats de test disponibles explose. Les robots, ou agents d’exécution de tests, peuvent s’exécuter 24h/24 et 7j/7 sans interruption (on parle là de Monitoring web ou bien de Monitoring apps) et, en plus de cela, le nombre de cas de test s’accumule au cours de chaque sprint. Ainsi, davantage de résultats sont produits pour être gérés et analysés. Cela nécessite la bonne approche.

Si le temps passé à étudier les résultats des tests dépasse le temps gagné en exécutant des tests automatisés, alors l’automatisation n’améliore pas la qualité des résultats et n’en vaut pas le coût. Pour profiter des avantages de l’automatisation de création de logiciels, il est essentiel de savoir comment gérer correctement la quantité croissante de résultats de tests obtenus. Autrement, le processus automatique n’apporte pas d’effets positifs, mais encombre tout simplement le système.

Configurer la surveillance automatisée

Toute équipe de test a déjà de nombreuses tâches dans le cadre du processus de livraison du logiciel, donc le simple fait d’ajouter une autre tâche de surveillance des résultats n’entraîne pas nécessairement une amélioration de la qualité. Au contraire, l’analyse des résultats va leur compliquer le travail. C’est pourquoi il est recommandé d’automatiser également l’analyse des données.

Avoir une équipe de test surveillant constamment les résultats des tests par elle-même comporte plusieurs risques, par exemple :

Comment s’assurer que les résultats sont vérifiés à intervalles réguliers ? La surveillance manuelle peut être interrompue par des conflits de calendrier, comme des réunions, des vacances, etc.

Si les cas de test échouent rarement, le besoin de surveillance sera perçu comme moins important au fil du temps. Ce sentiment est très préjudiciable aux tests de non-régression qui consistent à identifier à tout moment des problèmes imprévus.

Pour faciliter le travail de l’équipe de test, il vaut mieux vous assurer que l’outil utilisé pour l’automatisation des tests permet de configurer des alertes et/ou d’envoyer des messages lorsque l’équipe de test doit agir, par exemple lorsqu’un ou plusieurs scénarios de test échouent ou lorsque l’exécution d’un scénario de test prend plus de temps qu’une limite critique prédéfinie.

En configurant des notifications automatisées, les testeurs de logiciels pour le web peuvent réagir en cas de besoin pour vérifier les cas de test automatisés et ne pas perdre de temps en déclarant que rien n’a échoué. Cela permet également à l’équipe de gestion d’agir à temps pour interpréter le résultat et résoudre les bugs.

Déterminer pourquoi les cas échouent

Il est évident que si un testeur passe plus de temps à analyser pourquoi un cas de test automatisé échoue qu’il n’en faut pour exécuter le cas, l’automatisation perd sa raison d’être. L’investigation d’un cas de test défaillant et l’identification de la raison de l’échec doivent être simples et rapides. Les concepteurs du produit, les développeurs et les testeurs ont besoin d’un retour rapide pour détecter les irrégularités le plus rapidement possible.

Une plate-forme d’automatisation des tests doit inclure les fonctionnalités suivantes pour aider les testeurs à être plus productifs dans la phase d’analyse :

Enregistrement vidéo des machines exécutant le scénario de test. Il s’agit d’un outil très puissant, car il permet à l’équipe de test de voir exactement ce qui s’est passé lors de l’exécution du scénario de test. Comme solution, on peut également travailler sur des échantillons de tests pour mieux comprendre le processus et relever les éventuelles failles.

Fonctionnalité de journalisation. Cela contient tous les runs du scénario de test dans l’ordre étape par étape de la façon dont le scénario de test a été exécuté. De cette façon, vous n’accumulez pas les résultats et pouvez les analyser à temps.

Fonctionnalité de débogage. Cela peut inclure une présentation étape par étape des cas de test défaillants pour voir les valeurs, les états, etc. Ceci est très utile pour identifier pourquoi un cas de test échoue et comment y remédier avant d’intégrer le logiciel sur Internet.

Fonctionnalité de relecture. La combinaison de l’enregistrement vidéo avec les fonctionnalités de journalisation et de débogage vous permet de voir la situation dans son ensemble. Avec ces informations, même les testeurs qui ne connaissent pas grand-chose au cas de test peuvent le déboguer et tirer des conclusions rapidement.

Partager les résultats au sein de l’équipe

En France, les plates-formes de test peuvent être utilisées à la fois pour gérer les tests et gérer les anomalies. Ils sont largement utilisés par les équipes de test en tant qu’outils pour suivre les anomalies, les stratégies de test, les descriptions de cas de test, etc.

L’introduction de l’automatisation des tests ne changera probablement pas le fait que ces plates-formes constituent le centre des efforts de test collectifs. C’est pourquoi vous devez intégrer votre plate-forme d’automatisation des tests en poussant les résultats vers le système de gestion des tests ou en extrayant les résultats de la plate-forme d’automatisation des tests à l’aide d’une API par exemple.

Utiliser un tableau de bord pour les résultats

Un retour d’information rapide et transparent est la pierre angulaire. Cela permet à l’équipe de développement de réagir rapidement aux problèmes et de les corriger avant qu’une anomalie ne soit publiée dans un environnement de production.

Un moyen efficace de partager les résultats au sein et entre les équipes consiste à utiliser des tableaux de bord visuels sur des moniteurs partagés dans l’espace de travail d’une équipe. Par exemple, montrer une représentation graphique simple des derniers résultats des tests de régression sur l’environnement de test donnera à l’équipe une indication claire de la qualité actuelle du logiciel testé.

Ce type de travail demande rigueur et rapidité pour ne pas gaspiller les ressources humaines, matérielles et financières. Vous anticipez les erreurs et agissez à temps pour corriger celles détectées avant de finaliser le développement d’un logiciel et le mettre en ligne sur Internet.