Published On: 20 décembre 20185,1 min read

À quoi ressemble un rapport d’une campagne de tests de charge ?

Vous souhaitez mettre en place une campagne de tests de montée en charge pour vous assurer de la capacité de votre infrastructure et de votre application à absorber la connexion simultanée d’un nombre déterminé d’utilisateurs ? C’est une étape qui devient incontournable quand l’accessibilité à votre service représente un enjeux majeur dans votre stratégie de développement. Avant d’attaquer le rapport d’une campagne de TMC, nous détaillons dans un autre article comment mettre en place une campagne de tests de montée en charge pertinente. Toutefois que peut-on attendre d’une campagne de tests de montée en charge, à quoi peut ressembler un rapport de performance ? Lumière :

Idéalement 2 rapports.

Derrière une campagne de TMC il y a souvent deux niveaux d’attentes. Vous avez sûrement d’un côté vos équipes techniques qui attendent des données précises pour pouvoir agir en conséquence et d’un autre côté une équipe marketing et/ou métier qui ont besoin d’informations factuelles sur l’expérience que vit « l’utilisateur virtuel » lors de l’augmentation des connexions sur votre site ou application. 

Livre blanc : Les secrets d’une campagne de tests de charge réussie

Pour faciliter la lecture, il est idéal d’obtenir deux rapports :

  1. Rapport dit de “Conclusion” : qui va présenter synthétiquement les résultats obtenus pour les différents tirs. Ex : Avec 250 utilisateurs simultanés le site a bien réagi, toutefois il devenait pertinent de limiter le nombre de produit à afficher sur les pages “catégorie”
  2. Rapport dit “Technique » : qui va présenter en détails les métriques, minute par minute. Ex : Avec 250 utilisateurs simultanés, le site a eu un TTFB (Time to first Byte) de 2174 ms avec 19 erreurs (et remonter la liste des erreurs).

On ne va pas présenter ici le rapport dit de “Conclusion” car, comme précisé ci-dessus, ce rapport est spécifique au contexte du logiciel à tester. Il est fondamental que le langage soit vulgarisé et aucunement technique. Il doit faire apparaître de manière claire et simple les fonctions qui peuvent, comme dans l’exemple ci-dessus, engendrer une frustration pour l’internaute, voire de ne plus revenir sur votre site ou application.

Exemple d’un rapport technique.

Prenons pour exemple le scénario de navigation décrit ci-dessous :

Un visiteur arrive sur la page d’accueil du site, se connecte sur son compte et utilise la barre de recherche pour saisir  un mot-clé. L’utilisateur change le nombre de résultats par page et le passe de 24 à 48 puis sélectionne le premier produit.

Le visiteur affiche la page d’accueil puis le panier. Il clique sur le menu déroulant des catégories et sélectionne une catégorie puis une sous-catégorie et choisi la première marque affichée. Il coche les deux premiers produits de la liste et clique sur comparer.

Il recherche à nouveau un mot-clé dans la barre de recherche puis se rend à la page 3. Il clique ensuite sur « Mon compte » puis « Mes devis » puis « Mes commandes » et enfin « Mes factures » et se déconnecte.

Nombre d’étapes : 63

Ce scénario est exécuté dans les conditions ci-dessous :

  • Premier tir avec 250 utilisateurs
  • Second tir avec 500 utilisateurs
  • Troisième tir avec 750 utilisateurs

Ci-dessous le rapport complet du tir numéro 1 :

Visuels_articles_Cloudnetcare_Rapport-TMC

Cloudnetcare_diagramme-tests-de-montee-en-charge

Le premier diagramme présente l’évolution du nombre d’utilisateurs virtuels reproduits par rapport au temps de chargement complet d’une page et au temps nécessaire pour obtenir la première réponse du serveur (FirstByteTime) et le chargement de la page de manière « confortable » pour l’utilisateur (OnLoad), voir le détail après le clic sur le graphique ci-dessous. On remarque qu’il y a logiquement une corrélation entre le temps de chargement nécessaire d’une page et le nombre d’utilisateurs.

Cloudnetcare_rapport_first-byte-time

Souvent négligé au moment de leur sélection et de leur implémentation : le comportement des services tiers lors de la montée en charge est à analyser avec la plus grande attention.

Cloudnetcare_diagramme-tests-de-montee-en-charge_2

Ce graphique présente le temps de chargement des domaines tiers sollicités lors du TIR de charge. On remarque que les 13 premiers domaines mettent plus de 10 secondes à se charger en moyenne. Si ces domaines sont nécessaires pour l’exécution de fonctions “vitales” (prestataire de paiement, affichage de carte géographique…) cela aura un impact négatif sur l’expérience utilisateur.

Cloudnetcare_diagramme-tests-de-montee-en-charge_3

Le tableau des métriques par minute présente une photographie précise et complète du TIR. L’objectif est de mettre en évidence le comportement de chacun des cycles « minute par minute ». On peut voir qu’il faut 9 minutes pour que les 2 premiers cycles soient finalisés. Sur les 250 utilisateurs simulés dès la première minute il n’y en a que 2 qui ont terminé le scénario. Un cycle est compté comme terminé lorsque toutes les étapes du scénario ont été réalisées.

Ce tableau permet de voir plus clairement que sur ce TIR de charges en 15 minutes il y a 100 cycles terminé, 76 en erreurs et 228 encore en cours (en effet 250 sont initiés et bon nombre sont interrompus au terme des 15 mn du TIR)

Pour conclure.

Vous venez de voir un extrait de rapport de test de montée en charge. Vous l’aurez compris un seul TIR ne suffit pas car il ne permet pas d’identifier le moment où l’infrastructure ou l’applicatif ne permettent plus de répondre aux requêtes. La qualité du scénario déterminera la pertinence des résultats et les domaines tiers sont critiques, pensez à les inclure dans votre rapport de performance.

Testez plus vite et mieux avec les outils CloudNetCare

Une plateforme SaaS puissante au service de vos développements et de l’expérience de vos utilisateurs. Testez plus vite, plus souvent et mieux avec la plateforme d’automatisation des tests de CloudNetCare.

Testez plus vite
et mieux avec les outils
CloudNetCare

UX Functional testing

Plateforme SaaS de tests de montée en charge

UX Functional testing
UX Functional testing

Testez plus vite et mieux avec
les outils
CloudNetCare

UX Functional testing

Plateforme SaaS de tests de montée en charge

UX Functional testing
UX Functional testing