Notre méthode de test : mesures et score

Chaque test publié ici repose sur une mesure automatisée de la page d’accueil et de la page tarifaire d’un service, telles qu’elles sont accessibles au public. Nous ne créons pas de compte, nous n’achetons rien et nous ne lançons aucune vidéo. Un test réunit trois éléments distincts : la fiche établie à partir de nos recherches (type de service, modèle tarifaire, situation par pays), le protocole de mesure et l’analyse de la rédaction, qui s’appuie uniquement sur ces deux premiers éléments.

Ordinateur et mobile

Chaque page est mesurée dans deux affichages : une fenêtre d’ordinateur de 1440 × 900 pixels, sans limitation de débit, et un écran de smartphone de 390 × 844 pixels. Pour la mesure mobile, nous simulons une connexion 4G avec 9 Mbit/s en téléchargement, 1 Mbit/s en envoi et une latence de 170 millisecondes.

Les valeurs de l’encadré des mesures décrivent le premier chargement mobile de la page d’accueil. Elles ne sont additionnées ni sur les deux affichages ni sur plusieurs chargements. Pour le temps de chargement, nous retenons le Largest Contentful Paint (LCP), c’est-à-dire le moment où le plus grand élément visible de la page est affiché.

La date et le pays du point de mesure figurent sur chaque test. La mesure part d’un centre de données. Une connexion domestique située dans un autre pays peut voir une page différente.

Publicité, traceurs et pop-unders

Nous repérons les requêtes publicitaires et de suivi à l’aide de deux listes de filtrage publiques, du même type que celles des bloqueurs de publicité. Rien n’est bloqué, nous nous contentons de compter. Une requête publicitaire est un événement réseau, pas une annonce visible : une seule bannière peut déclencher plusieurs requêtes, et toutes les requêtes n’aboutissent pas à une annonce.

Pour les pop-unders, la mesure clique une fois sur une zone vide de la page d’accueil, puis sur la première vignette munie d’un lien. Nous comptons les nouvelles fenêtres et les redirections vers un domaine tiers ; les fenêtres ouvertes sont aussitôt refermées. Si ce test ne peut pas être mené jusqu’au bout, nous l’indiquons. Le feu de la publicité ne peut alors pas être vert, car l’absence de pop-under observé ne prouve rien tant que le test n’a pas abouti.

Contrôles d’âge et bandeaux de cookies

Beaucoup de services affichent un contrôle d’âge avant la page d’accueil. Lorsqu’il s’agit d’un simple bouton de confirmation, la mesure clique dessus une seule fois et vérifie que la fenêtre disparaît, fond assombri compris. Si elle reste affichée, nous ne publions aucune capture de cette mesure.

Une véritable vérification de l’âge, par exemple avec l’envoi d’une pièce d’identité ou des données de carte, n’est jamais remplie. Les blocages par pays ne sont pas contournés. Dans les deux cas, le test montre la page de blocage ou de vérification telle qu’elle apparaît.

Face à un bandeau de cookies, la mesure tente une fois de choisir uniquement les cookies nécessaires ou de tout refuser. Elle n’accepte que si cette possibilité n’existe pas. Contrôles d’âge, bandeaux de cookies et pop-unders sont reconnus à partir de motifs. Des erreurs d’interprétation restent possibles.

Prix

Nous comparons le prix inscrit dans notre fiche avec la page tarifaire ou d’inscription chargée. Seuls comptent les montants actuels, dans la même devise et avec un écart de 1 % au plus. Les montants barrés ou présentés comme un ancien prix ne sont pas retenus. Nous ne convertissons aucune devise et ne déduisons pas de durée d’abonnement de l’ordre dans lequel les montants apparaissent.

Comment le score est calculé

Le score va de 0 à 100 et se compose de cinq feux partiels. Le vert compte en entier, le jaune pour moitié, le rouge pas du tout.

• Vitesse (25 points) : LCP jusqu’à 2,5 secondes en vert, jusqu’à 4 secondes en jaune, au-delà en rouge.
• Publicité (30 points) : requêtes publicitaires, plus 10 par pop-under ouvert et 5 si un clic renvoie vers un domaine tiers. Jusqu’à 10 en vert, jusqu’à 30 en jaune, au-delà en rouge.
• Technique (15 points) : rouge sans HTTPS. Sinon, trois écarts possibles sont comptés : en-tête HSTS absent, contenus chargés sans chiffrement et plus de 10 requêtes de suivi. Sans écart, le feu est vert ; avec un écart, jaune ; à partir de deux, rouge.
• Transparence des prix (15 points) : vert si exactement un montant actuel correspond à notre fiche, ou si le service est entièrement gratuit selon la fiche et qu’aucun montant n’a été trouvé. Jaune si aucun prix n’a été trouvé ou si d’autres montants figurent à côté du montant correspondant. Rouge si des prix ont été trouvés sans qu’aucun ne corresponde, ou si la page signale expressément un renouvellement dissimulé.
• Affichage mobile (15 points) : les écarts possibles sont un débordement latéral, une surcouche plein écran qui n’est ni un contrôle d’âge ni un bandeau de cookies, et des éléments interactifs trop petits (plus d’un cinquième des liens et boutons sous 40 pixels). Sans écart, le feu est vert ; avec un écart, jaune ; à partir de deux, rouge.

À partir de 75 points, un résultat est jugé sans anomalie, à partir de 50 limité, en dessous problématique. Le contrôle d’âge n’entre pas dans le score. Celui-ci évalue la technique et la transparence, pas les contenus d’un service, et il ne constitue pas un label de sécurité.

Captures d’écran et floutage

Chaque test comprend des captures de la page d’accueil et, quand elle existe, de la page tarifaire, sur ordinateur et sur mobile. Nous en publions des versions réduites, larges de 1200 ou de 780 pixels selon l’affichage.

Un outil automatique ne sait pas repérer de façon fiable chaque zone d’image sensible prise isolément. Nous ne floutons donc pas seulement les zones détectées : par défaut, toutes les zones d’image, de vidéo et d’image de fond de la capture sont floutées, chacune avec une petite marge et quel que soit leur contenu. La mise en page, les textes, les prix et les petits pictogrammes vectoriels restent lisibles. Une détection d’images parcourt en plus toute la capture par tuiles qui se chevauchent. Les lignes de texte qui contiennent un terme de notre liste liée à la protection des moins de 18 ans sont elles aussi rendues illisibles.

Une seconde étape examine ensuite l’image terminée à la recherche de zones d’image restées nettes. Si plus de 1 % de la surface est signalé, la capture n’est pas publiée automatiquement. Elle n’apparaît qu’après une vérification visuelle, et seulement si les endroits signalés ne montrent que des éléments interactifs. Si le floutage couvre presque toute la page, la publication est interrompue et le cas est examiné à la main.

Le floutage ne peut être limité aux zones détectées que si la rédaction a constaté, après examen, qu’une page d’accueil ne contient aucune image explicite. Les valeurs mesurées ne sont jamais lues sur les images : elles proviennent du protocole de mesure.

Situation par pays

Les informations sur la situation dans un pays proviennent soit d’une source datée, soit de notre propre mesure, et sont indiquées comme telles. Faute de source vérifiée, la mention « Non vérifié » s’affiche. Qu’une page se charge lors de notre mesure ne signifie pas qu’elle est légalement autorisée dans un pays.

Mise à jour et limites

Nous prévoyons de refaire chaque mesure au plus tard au bout de 90 jours. Si le score, le contrôle des prix, le contrôle d’âge ou l’accès au site changent à cette occasion, le texte est révisé avant la publication de la nouvelle mesure. Nous ne plaçons jamais une nouvelle date au-dessus d’un ancien texte.

Chaque mesure est un instantané pris depuis un seul endroit. Les espaces réservés aux membres connectés, la qualité des contenus et l’étendue d’un catalogue ne sont pas examinés. Si une information vous paraît inexacte, merci d’utiliser le formulaire de signalement.