Pourquoi les sondages n’ont plus de marge d’erreur ? Pourquoi les sondages n’ont plus de marge d’erreur ?

Comme dans bien des domaines, Internet a bouleversé l’industrie des sondages de fond en comble. Peut-être pas pour le meilleur. Ainsi, les responsables des entreprises qui commandent des sondages devraient, plus que jamais, exercer leur esprit critique.

« On s’attend à ce que les sondages soient parfaits. À la base, c’est un portrait de la réalité assez précis, mais qui ne sera jamais parfait », commente Michel Berne, associé chez Ad Hoc Recherche et spécialiste des sondages depuis plus de 35 ans.

Au courant des dernières années, la réputation de l’industrie des sondages a été mise à mal ces dernières années. Brexit, Trump, Valérie Plante à la mairie de Montréal, les désignations de François Fillon et Benoît Hamon lors des primaires françaises : à travers le monde, les exemples abondent où les sondeurs échouent à prédire les résultats électoraux.

Les sondages téléphoniques en perte de vitesse

L’avènement de la téléphonie cellulaire et d’Internet a complètement bouleversé le secteur de la recherche marketing. Aujourd’hui, sur une centaine de personnes contactées par les sondeurs, une trentaine seulement répondent au téléphone. « Que pensent les 70 % qui n’ont pas répondu ? L’auraient-ils fait dans le même sens que ceux qui ont accepté de répondre au sondeur ? Il y a désormais un problème de représentativité qui pourrait cacher des biais potentiels », explique Michel Berne d’Ad Hoc Recherche.

Il y a une vingtaine d’années, à l’époque où on présentait systématiquement des sondages avec des marges d’erreur, ils étaient réalisés par téléphone et non pas sur le Web, comme aujourd’hui. La réalité de l’époque permettait de respecter deux postulats importants : les sondés étaient choisis au hasard, à partir d’une base de données exhaustive contenant presque toute la population.

Comment les sondeurs pouvaient-ils respecter ces deux postulats ? Jusqu’au début des années 2000, tout le monde avait le téléphone à la maison. « Quand j’ai commencé dans cette industrie, on constituait à la main les bases d’échantillonnage, c’est-à-dire les numéros de téléphone à contacter, reprend Michel Berne. On prenait littéralement le bottin téléphonique en papier et on sélectionnait des numéros au hasard systématiques (ex. : 11e numéro de la 2e colonne) en tournant les pages.

Puis sont survenues les technologies de génération aléatoire de numéros de téléphone à partir des échangeurs (les trois premiers chiffres après l’indicatif régional). Ça permettait d’établir cette fameuse base exhaustive de la population et d’effectuer une sélection réellement aléatoire parmi cette base. On pouvait donc extrapoler un échantillon à l’ensemble de la population, et on calculait ensuite la marge d’erreur. »

Malheureusement pour l’industrie, l’adoption massive de la téléphonie cellulaire est venue compliquer le travail des sondeurs, puisqu’une part sans cesse croissante de la population a débranché sa ligne fixe. « Ça complique un peu le travail, car il faut désormais créer deux échantillons : un pour rejoindre les lignes fixes et un autre pour les cellulaires, explique Michel Berne. Ce n’est donc pas hors de la portée des sondeurs, mais ça finit par coûter plus cher. »

La montée des panels Web

Aujourd’hui, les panels Web ont détrôné les sondages téléphoniques. En effet, l’industrie de la recherche marketing s’est massivement tournée vers de nouvelles méthodes de sondages, et particulièrement vers les panels Web. Cette technique est plus rapide que les sondages téléphoniques, et son coût est nettement moins élevé. Avec un sondage traditionnel, il faut payer une équipe d’intervieweurs en chair et en os. Et comme le taux de réponse diminue avec le temps, il faut plus de temps pour constituer un échantillonnage acceptable.

Les panels Web sont constitués par des firmes de sondages, mais aussi par des sociétés inconnues du public, qui jouent le rôle de grossistes pour l’industrie. Elles gèrent ces fameux panels Web, où des centaines de milliers de personnes s’inscrivent volontairement, dans le but de recevoir des invitations à répondre à des sondages sur une base régulière. On parle de plusieurs millions d’inscriptions à l’échelle d’un pays comme le Canada, avec plusieurs redondances, car de nombreuses personnes sont inscrites à plusieurs panels. Et les inscrits ne sont pas tous actifs.

À l’échelle québécoise, on estime à entre 200 000 et 400 0000 personnes inscrites à des panels Web : ça représente une très petite partie de la population (le Québec compte plus de 8,4 millions d’habitants).

La première question qui vient à l’esprit : pourquoi diable une personne s’inscrit-elle à un panel Web pour volontairement répondre à des sondeurs ? Leurs motivations demeurent floues, puisque les récompenses offertes aux membres des panels Web sont minimes.

On parle généralement de quelque cent par sondage, ou encore de tickets pour participer à des concours où ils peuvent gagner des prix plus attrayants, comme un voyage dans le Sud. Ces récompenses pourraient attirer davantage de répondants à faible revenu, ou encore des gens disposant de plus temps libre que la moyenne.

Les marges d’erreur ont la vie dure

Aujourd’hui, les deux postulats de base des sondages dits probabilistes ne tiennent plus. « Avec les sondages par panels Web, on ne peut plus parler de base exhaustive ni de sélection aléatoire, car les participants se sont autosélectionnés, explique Michel Berne. Ce qui amène peut-être des biais : ont-ils le même profil que la population en général ? On ne le sait pas. Comme on ne peut extrapoler les résultats à l’ensemble de la population, on ne peut calculer une marge d’erreur. » Note complémentaire de MB : les fournisseurs de panel font valoir que les biais de profil peuvent être redressés par voie de pondération. Il est vrai qu’on ajuste ainsi le profil, mais sur des bases sociodémographiques seulement. Il peut subsister des biais sur des éléments de profil qui ne font pas l’objet de pondération.

Malgré tout, la plupart des firmes continuent de présenter une marge d’erreur. Dans certains rapports, elles ajoutent une note plus ou moins rédigée ainsi : « Aux fins de comparaison, un échantillon probabiliste de X répondants aurait dégagé une marge d’erreur de X. »

Comme les sondages par panels Web sont justement non-probabilistes, c’est-à-dire que l’échantillon sondé n’a pas été sélectionné de manière aléatoire, calculer une marge d’erreur qui ne s’applique pas est peu logique : « C’est une contorsion, affirme Michel Berne. Selon les normes déontologiques de l’industrie, on ne peut tout simplement pas faire cela. »

Mais la pression est telle de la part des médias, pour qui la marge d’erreur est une sorte de caution, et de la part des clients des sociétés de sondages, qui y sont habitués depuis longtemps, que l’industrie continue de calculer la marge d’erreur sur des sondages qui, rigoureusement parlant, ne respectent pas les postulats théoriques de base pour en permettre le calcul.

En conséquence, même si l’accès aux sondages est de plus en plus facile, peut-on désormais se fier à eux ? La réponse de Michel Berne, qui gagne pourtant sa vie en faisant des sondages, n’est pas catégorique : « Tous nos clients nous demandent si nos sondages ont des limites. La réponse : c’est oui. Peu importe le type de sondage, traditionnel ou par panel Web, il subsiste des biais liés à la représentativité, au choix de l’échantillon, à la formulation et à la séquence des questions. Malgré leurs limites, les sondages demeurent un précieux instrument. Pour tâter le pouls d’une population donnée, il n’existe pas, à ce jour, de meilleure alternative. »