Observatoire ARCEP de l'Internet : la méthodologie et les résultats mis en cause

Il y a deux jours, l’ARCEP publiait son premier observatoire sur la qualité du service fixe d’accès à l’internet, qui mesure les performances des cinq principaux opérateurs d’accès fixe à l’internet en France : Bouygues Telecom, Free, Numéricable, Orange et SFR.

Une publication pour laquelle l’ARCEP prenait quelques précautions concernant la fiabilité des résultats :

Korben s’est penché en détail sur cet observatoire, et après avoir lu et relu la méthodologie mise en place, apporte un éclairage qui discrédite totalement les résultats obtenus dans cet observatoire. En effet, alors qu’une étude de ce genre devrait se faire de façon qualitative (méthode des quotas représentatifs de la population) ou quantitative (sur tous, voire un grand nombre d’Internautes, pour diminuer au maximum la marge d’erreur), les mesures n’ont été faites que dans 8 grandes villes, qui n’ont rien de représentatives. Par ailleurs, les mesures sont faites par des robots, et ne représentent pas une utilisation réelle d’Internet par des humains.

Les robots qui réalisent les mesures

Ainsi, comme le résume Korben, avec le dispositif mis en place pour cette étude :

On remplace les internautes par des robots
On remplace les vraies connexions chez des particuliers dans nos villes et nos villages par des connexions pluggées dans des data centers climatisés, qui plus est dans des grandes villes (Dijon, La Garenne Colombes, Marseille, Nantes, Paris, Schiltigheim, Toulouse, Villeurbanne)
On remplace des vraies longueurs de lignes par des appareils atténuant artificiellement la qualité de la ligne
Et on remplace les vrais usages des internautes par une liste prédéfinie de sites.

La société qui collecte les données est un partenaire de tous les FAI sauf Free

Outre la méthodologie qui est mise en cause, la composition du comité technique et le choix des prestataires prête également à caution. En effet, aussi étonnant que cela puisse paraitre, les FAI font partie du comité technique, chargé de mettre en place le protocole. Et comme le dit très justement Korben : « Sur le fondement même d’une mesure neutre et objective, je ne comprends pas pourquoi il fallait impliquer les FAI. Si vraiment l’ARCEP avait voulu faire ses mesures sérieusement, elle aurait placé ses sondes à des endroits inconnus des FAIs, fait appel à un prestataire technique qui n’a pas de lien avec les FAIs et aurait mené ses réflexions techniques sans les FAIs. »

Et l’intégration des FAI dans le comité technique a des conséquences directes, comme le choix du prestataire qui collecte les mesures. Il s’agit en effet d’IP-Label, déjà bien connu pour réaliser ce type d’études depuis de nombreuses années. Mais cette société n’est pas indépendante des FAI puisque qu’ils en sont tous clients. Enfin presque, puisque Free est le seul FAI de l’étude à ne pas payer IP-Label pour faire appel à ses services. Pour que les résultats de l’étude soient au dessus de tous soupçons, il aurait évidemment été préférable de choisir un prestataire neutre, qui n’ait de relations commerciales avec aucun FAI.

Outre les différents problèmes et biais listés ci-dessus, plusieurs autres points faibles de l’etude sont pointés par Korben. Nous vous invitons à retrouver son analyse, dans l’article « Ivre, l’ARCEP tente de mesurer la qualité de service de votre Internet » sur Korben.info

Cet article a été repris sur le site Univers FreeBox

Observatoire ARCEP de l’Internet : la méthodologie et les résultats mis en cause