Comment identifier le moment où la couverture de tests de non régression est suffisante ?

Publié le : 24 avril 2020

On en est tous convaincus, la perpétuelle quête de l’amélioration de la qualité des livrables passe par des tests, des tests et toujours des tests de non régression.

Pour toutes les équipes informatiques, lors des mises en production, il y a un moment où la question se pose : quand peut-on arrêter de travailler à l’amélioration du patrimoine de test ?

Pour répondre à cette question, vous devez mesurer la qualité de vos livrables en vous basant sur des KPI pertinents. La satisfaction client et la fréquence de mises en production sont deux indicateurs à prendre en compte avant d’arrêter d’enrichir le patrimoine de test.

Satisfaction client au cœur de la stratégie de vos tests de non régression.

Le premier indicateur de mesure est caché derrière l’idée d’amélioration de la qualité des livrables. On cherche à l’améliorer pour qui ?

Pour qui : User First ! C’est l’utilisateur de votre application, logiciel ou site internet qui est le leitmotiv de toute la démarche de construction des tests de non régression. La satisfaction client est donc un paramètre essentiel à prendre en compte et doit être un outil de mesure de la pertinence du niveau de couverture de vos tests.

À vous de mettre en place les processus de collecte de ces informations : enquêtes de satisfaction clients, retour du service support, analyse des commentaires sur les réseaux sociaux. En fonction du pourcentage de satisfaction obtenu, sur l’utilisation des fonctionnalités de votre site et de son évolution dans le temps, vous pouvez identifier les moments ou la couverture est suffisante ou s’il faut, à nouveau, l’enrichir.

Toutefois, on ne peut pas être catégorique et se dire : il n’y a plus de retour négatif, on arrête la couverture. Cela va dépendre de la typologie de votre site ou logiciel et de sa fréquence de mise à jour. Dans le cas où les releases de nouvelles versions sont rares on peut estimer que lorsqu’il n’y a plus de retours négatifs on peut arrêter d’enrichir la couverture de test car la satisfaction client est le meilleur jalon de la pertinence de votre couverture de test.

Fréquence des mises en production en juge de paix.

A contrario, un éditeur de logiciel ou un site e-commerce avec des mises en production plus fréquentes, mensuelles voire bimensuelles, ne peuvent se « contenter » des retours clients, quand bien même ils soient très positifs.

Le temps que l’information vous remonte et qu’elle soit traitée il y a de fortes chances que la version en production ait déjà évolué. Une MEP non évaluée par le client a déjà été remplacée par une mise en production n+1 ou n+2. Cette fréquence de mise à jour impose de plus d’enrichir en continu la couverture de tests, pour couvrir les nouvelles fonctionnalités. Ce n’est qu’à ce prix que l’on peut maintenir une couverture logicielle suffisante.

Si vos MEP sont hebdomadaires voire quotidiennes, sans porter de jugement, avant d’imaginer réaliser des tests de non régression à chaque MEP, ce qui est quasiment impossible, il est bon de réorganiser les développements. Une fréquence aussi élevée cache souvent non des mises en production « fonctionnelles » mais des fixs, dû à pléthores de bugs qui sont passés en production.

Pour simplifier nous avons deux cas de figure :

  1. Des fréquences de mises en production “rares” (6 mois, un an ou plus) : la satisfaction client est un marqueur idéal d’une couverture de tests de non régression suffisante.
  1. Des mises en production continues (mensuelle, bimensuelle) : il faut enrichir en permanence la couverture des tests.

Il n’y a pas de règle pour déterminer si on teste suffisamment ou non. La satisfaction client est LE critère à prendre en compte et quasi universel. Si vous n’avez que des retours positifs de vos utilisateurs sur l’utilisation de votre site, il y a fort à parier que votre couverture de test est suffisante pour arrêter d’améliorer la couverture de vos tests.

Cependant, avant d’arrêter d’enrichir la couverture de test, pensez toujours à prendre en compte les fréquences de vos mises à jour. Plus les releases de nouvelles versions sont rares, plus vous pouvez être sûr qu’en absence de retours négatifs la décision d’arrêter de faire évoluer la couverture de test est plus que justifiée.

Les documents du monde du test

Les livres blancs
Lettre d’information Recevez l’actualité des tests