Bien appréhender les risques de l’industrialisation de l’automatisation des tests de non régression.

La complexité croissante des architectures et l’augmentation de la fréquence des mises à jour impliquent la multiplication des actions de tests à effectuer. La seule réponse à cette problématique est l’automatisation et plus précisément l’industrialisation de l’automatisation pour tester toujours plus vite, car sans processus industriel, pas d’amélioration possible !

Même si les bénéfices sont flagrants, il faut prendre garde aux risques sous-jacents :

Une sous-estimation du temps, du coût et de l’effort :

• Pour réaliser la première phase de mise en place d’une couverture de tests automatisés il est impératif de : définir un plan de tests, décrire les scénarios, configurer l’infrastructure, développer des scénarios, constituer les jeux de données …

• Pour obtenir des bénéfices significatifs et continus il est souvent nécessaire d’adapter le processus historique de tests.

• Et enfin et surtout il faut maintenir en conditions opérationnelles (MCO) tout cet ensemble : technique (RUN des tests) et fonctionnel (Patrimoine de tests)

Une confiance excessive dans l’outil :

• Considérer l’outil comme substitut à la conception des tests : la conception restera toujours du ressort des équipes métiers en collaboration avec l’équipe QA. Il faut aussi prendre en compte la remise en cause régulière du patrimoine de tests. L’automatisation ne corrigera pas une défaillance humaine lors de sa conception

• Négliger des problèmes de relation et d’interopérabilité entre les outils connexes : liste des exigences, référentiel de tests, gestion des incidents, suivi des défauts…

• Négliger le risque de déshérence d’un logiciel ou projet open source ou libre : la prise en compte continuelle de l’évolution des technologies est primordiale

• Négliger d’évaluer la réactivité du prestataire ou de la communauté open source pour le support, les mises à jour et la correction des défauts

• Négliger d’anticiper les imprévus, comme l’incapacité de supporter une nouvelle plateforme (exemple : nouvelle version d’iOS)

• Si l’outil d’automatisation est déployé sur site, il est indispensable d’anticiper les temps de configuration et de mises à jour récurrents. Si par exemple les tests sont effectués sur des navigateurs internet, la mise à jour doit être anticipée tous les 15 jours (cycle de release de Firefox/Chrome/Edge) ;

• Attente irréaliste placée dans la capacité des outils d’automatisation : tout n’est pas automatisable !

Points de vigilance : pour augmenter le taux de réussite de l’automatisation, il faut s’assurer que les tests à automatiser sont basés sur des processus de tests manuels matures et documentés. Il faut également ne pas sous-estimer l’effort et l’implication nécessaire de l’équipe QA (concepteur, responsable des tests, testeur, automaticien) dans les phases d’élaboration des tests automatisés et pendant leur exécution.

La gestion des données (élaboration des jeux d’essais, jeux de données) est un élément fondamental qui implique souvent une charge de travail importante à ne pas sous-estimer.

Sans une gestion rigoureuse vous risquez d’être submergé par les informations et vous retrouvez face à l’incapacité de traiter pour améliorer.

Pour conclure.

L’automatisation de vos tests de non régression est la solution pour améliorer la qualité de service de vos logiciels ou applications. Mais avant de se lancer tête baissée dans l’industrialisation de l’automatisation il convient de mesurer le temps, coût et compétences nécessaires pour atteindre les objectifs fixés. En fonction de votre étude, vous pourrez déterminer l’organisation à appliquer. Besoin d’aide pour cela ? : L’automatisation des tests : les 3 organisations possibles.