Incertitude, marge d’erreur, rétributions : ce qu’il faut savoir sur les sondages

A quatre jour du premier tour de la présidentielle, jamais l’incertitude n’aura paru aussi grande. Le resserrement dans les sondages entre les quatre premiers – Marine Le  Pen, Emmanuel Macron, Jean-Luc Mélenchon, François Fillon –incite à la prudence. Mais au-delà des résultats en eux-mêmes, l’incertitude sur les sondages est bien présente, à plusieurs titres. Elle est en réalité double : celle due au choix des Français et celle liée aux sondages eux-mêmes.

Une phase de transition politique cause d’incertitude

L’incertitude politique s’explique par « la phase de transition » actuelle, selon Emmanuel Rivière, directeur général France de Kantar Public (ex-TNS-Sofres). « Il y a un scénario possible où ni le candidat PS, ni le candidat LR, ne seraient au second tour. Le seul fait que ce soit possible montre bien qu’on est en train de passer d’un ordre politique à un autre. C’est probablement une élection de transition et ça crée une nouvelle incertitude. C’est dur à mesurer, sachant qu’il y a la possibilité d’une forme de réminiscence des structures anciennes », explique à publicsenat.fr le sondeur qui développe son idée dans une tribune publiée sur le site Délits d’opinion. La résistance de François Fillon, notamment dans l’électorat âgé, montre cette « réminiscence » des partis traditionnels.

Mais les choses bougent. « Est-ce que nos sondages tardent à mesurer ce qui se passe ? » s’interroge avec franchise Emmanuel Rivière. « On ne sait pas dire à l’heure actuelle s’il y a surestimation ou une sousestimation du phénomène Macron, au regard de l’expérience. C’est un élément de nouveauté » ajoute le responsable de Kantar, selon qui « il faut être prudent et modeste ». Si bien qu’« il y a une vraie incertitude du scrutin » conclut Emmanuel Rivière. Cette « incertitude politique », Jérôme Sainte-Marie, président de l’institut Pollingvox, la résume ainsi : « Les Français peuvent tout simplement changer d’avis et des gens peuvent se mobiliser et faire changer l’ordre d’arrivée ».

La marge d’erreur : « Quand on donne les chiffres absolus, on trompe toujours les gens. Il faut donner des fourchettes »

L’autre incertitude vient des sondages eux-mêmes. Sans faire un énième procès des instituts, les exemples d’écart entre chiffres des sondages et les résultats le jour de l’élection sont nombreux. Comment l’expliquer ?

Il y a déjà la fameuse marge d’erreur. Si l’on n’en tient pas compte, on tombe dans un biais de lecture et de compréhension du sondage. Par exemple, selon un tableau publié sur le site de l’Ifop avec son sondage quotidien (le « rolling »), sur un échantillon de 1.500 personnes, la marge d’erreur est de +/- 2 points pour un score autour de 20%. Cette marge d’erreur augmente quand on s’approche des 50%, pour atteindre 2,5 points.

Avec les résultats du 17 avril, cela donne Emmanuel Macron (23%), plutôt entre 21 et 25% avec la marge d’erreur, Marine Le Pen entre 20,5% et 24,5%, et François Fillon et Jean-Luc Mélenchon, donnés à égalité à 19,5%, plutôt entre 17,5 et 21,5%. Soit potentiellement Fillon et/ou Mélenchon devant Macron… voir Marine Le Pen. Ce qui donne une lecture complètement différente des sondages.

Cette marge d’erreur devrait être annoncée et publiée par les médias à chaque sondage. C’est la loi qui le stipule. Elle n’est pourtant pas toujours respectée. Au grand dam du sénateur PS Jean-Pierre Sueur, auteur, avec le sénateur LR Hugues Portelli, d’une proposition de loi sur l’encadrement des sondages. Adoptée à l’unanimité en 2011 par le Sénat, le texte n’a pas été examiné à l’Assemblée. Mais à la faveur de la loi sur les nouvelles règles de la présidentielle, l’essentiel du texte a pu être repris sous forme d’amendement. L’Elysée n’y était pas trop favorable, à la différence de Matignon.

« La loi dit que les marges d’erreur doivent être données par les medias en même temps que les sondages et les informations détaillées transmises à la commission des sondages. Mais les journaux n’appliquent pas la loi, dans la plupart des cas. Et la commission ne fait pas du tout ce qu’elle peut faire pour appliquer la loi, loin sans faut, car elle a la possibilité de faire des mises au point ou même de saisir la justice » explique Jean-Pierre Sueur. Pour le sénateur du Loiret, « quand on donne les chiffres absolus, on trompe toujours les gens. Il faut donner des fourchettes, mais je sais bien que c’est un problème commercial. Mélenchon qui passe devant Fillon, c’est haletant. La vérité, c’est qu’ils sont entre 17 et 21 ». Sondeurs et surtout journalistes préfèrent présenter la politique vue comme une course de petits chevaux en somme, plutôt que des tendances.

« Les sondages doivent être pris pour ce qu’ils sont et pas pour ce qu’on aimerait qu’ils soient. Ce ne sont pas des outils de prévision, mais des outils qui permettent d’indiquer. Et ils sont d’autant plus efficaces qu’on en comprend la dynamique, plutôt que mesurer au demi-point près le score de chacun des candidats » souligne Jean-Daniel Levy, directeur du département politique et opinion de l'Institut Harris Interactive (voir la vidéo, sujet de Samia Dechir).

« Il y a un problème de représentativité qui touche les sondages en général »

Autre biais : la représentativité des sondages. La méthode la plus généralement utilisée aujourd’hui est celle des sondages par Internet. Une pratique qui s’explique « pour des raisons de rapidité, de coût et de qualité qui est aussi bonne » assure Jérôme Sainte-Marie, « on peut avoir un énorme échantillon beaucoup plus facilement ». « Les sondages en face à face donnent toujours de bons résultats au niveau politique, car les sondés peuvent expliquer leur vote. Mais c’est long et cher et de plus en plus difficile à réaliser » ajoute le sondeur. « Les sondages en ligne sont politiquement plus représentatifs » confirme Emmanuel Rivière. Son institut s’y est converti pour les législatives de 2012. « Les résultats sont meilleurs, notamment sur le vote FN » explique le directeur général de Kantar Public, car « quand on répond par téléphone, on peut préférer ne pas répondre à un inconnu, on raccroche, et on peut se retrouver avec moins de sympathisants FN dans les enquêtes par téléphone ». Ce qui ne serait pas le cas dans les enquêtes en ligne, encore plus anonymes.

Mais selon Nicolas Kaciaf, maître de conférences en science politique à Sciences Po Lille, « il y a des biais avec les sondages en ligne. Par exemple, l’échantillon d’âge risque de ne pas être représentatif sur les personnes âgées », moins connectées. Elles sont pourtant nombreuses à voter. « Il est compliqué de constituer un panel, car il y a beaucoup de conditions. Il faut avoir un accès fréquent à Internet, disposer d’un mail, tout un ensemble de conditions qui fait que la représentativité n’est pas garantie. Mais elle ne l’est plus depuis longtemps par téléphone non plus » ajoute le politiste. « Il n’y a pas de solution miracle », souligne Nicolas Kaciaf, « il y a un problème de représentativité qui touche les sondages en général, quelle que soit la méthode de composition de l’échantillon. Ou sinon il faudrait des techniques très lourdes, comme en utilise l’Insee ».

Les sondeurs ne nient pas cette question de la représentativité. Jérôme Sainte-Marie :

« Il y a le problème de la marge d’erreur, mais qui ne joue pas tant que ça. Le problème est plutôt un problème de recueil : est-ce qu’on couvre bien la population ? Est-ce que les populations les plus populaires, qui pourraient se mobiliser, sont bien couvertes ? On pourrait avoir un phénomène qui renforce Jean-Luc Mélenchon ou Marine Le Pen ».

Le sondeur de Pollingvox ajoute : « Plus vous êtes intégré socialement, plus vous êtes représenté dans les échantillons des instituts. Moins vous êtes socialisé, moins vous êtes représentés dans les sondages. Par exemple, il y a toujours le risque qu’on ait des ouvriers d’un type particulier et qu’ils ne soient pas totalement représentatifs des ouvriers ». « Pour les plus âgés, c’est plus compliqué au-delà de 75 ans sur Internet. On peut s’interroger sur leur représentativité » confirme de son côté Emmanuel Rivière.

Des rétributions pour attirer les sondés : « 200 ou 300 euros maximum par an »

Pour répondre à ce biais, les sondeurs ont trouvé la solution : payer, ou plutôt rétribuer les sondés. Une technique qui semble étonnante, pour ne pas dire contestable. Aux yeux des instituts de sondages, elle est justifiée et maîtrisée.

« Il faut un petit effort supplémentaire sur les ouvriers et les jeunes pour avoir le bon quota. Ils ont tendance à répondre un peu moins. D’où le côté incitatif sous forme de points qu’on accumule. Nos panelistes recueillent des bons d’achat. Ça joue un peu plus chez les jeunes par exemple » explique, là encore avec une certaine transparence, Emmanuel Rivière. Le directeur général de Kantar Public précise bien que « ce n’est pas une manière d’arrondir ses fins de mois. C’est incitatif, juste un petit coup de pouce. Par exemple, ce sont des bons d’achat sur des boutiques en ligne. Tout cumulé, pour des gens assidus à nos enquêtes, c’est 200 ou 300 euros maximum par an ». Ce qui n’est pas totalement négligeable si les revenus sont faibles. Jérôme Sainte-Marie signale pour sa part que « la pratique de rémunération est totalement symbolique. C’est plutôt une compensation par rapport au temps passé. C’est une somme dérisoire, parfois un tirage au sort, des bons d’achat ».

Mais cette méthode n’a-t-elle pas des effets sur la qualité du sondage ? Ses effets sont-ils réellement neutres ? « Toutes les enquêtes ont des biais. Mais celui-ci est moins fort qu’avoir uniquement dans nos panels ceux qui adorent répondre aux sondages ou ceux qui aiment la politique » répond Emmanuel Rivière. Autrement dit, ce serait un moindre mal.

Profil bidonné

Les instituts peuvent sous-traiter le recueil des réponses à des entreprises comme « Maximiles », qui développe des panels de fidélisation. Dès la page d’accueil de son site, l’entreprise annonce la couleur : « Vos habitudes vous rapportent », « votre avis récompensé ». En « répondant à des sondages », on cumule des points qu’on échange « contre les cadeaux de (son) choix ».

Sauf que certains resquillent. Ils n’hésitent pas à bidonner totalement leur profil afin de cumuler plus facilement des points et donc des cadeaux. Dans une enquête d’Envoyé spécial, diffusée le 13 avril sur France 2, on peut voir un jeune homme de 19 ans qui, à l’abri derrière son écran d’ordinateur, se présente comme un cadre de 35 ans… (à 15’40 dans la vidéo)

« On voit ici le cas d’une personne qui répond n’importe quoi. Les sondeurs disent que c’est marginal. Mais ils n’en savent rien » s’agace le sénateur Jean-Pierre Sueur. Sa proposition de loi proposait d’interdire ces rétributions. Mais la disposition n’a pas été retenue. « Les sondeurs on fait valoir à l’Assemblée qu’il ne pourrait pas y avoir de sondages en ligne dans ce cas. En dernière lecture, si on n’acceptait pas cela, le risque était que le texte ne passe pas » raconte le sénateur PS. Mais pour Jean-Pierre Sueur, « répondre à un sondage est un acte citoyen. Ça doit être un acte gratuit ».

« Les chiffres bruts, c’est un secret industriel »

Le sénateur PS appelle à « la transparence totale » sur les sondages par la publication de toutes les questions, qui peuvent influencer les réponses, et des chiffres bruts, avant redressement. Refus des instituts. « Les chiffres bruts, c’est un secret industriel » explique Nicolas Kaciaf. Le chercheur souligne que « le coefficient n’est jamais purement mathématique. On navigue dans un univers qui évolue dans le temps. Il y a une part d’intuition »…

Les coefficients de redressement « sont très faibles » tempère Jérôme Sainte-Marie. « Avant, pour les sondages par téléphone, on était quasi obligé de donner un point double aux électeurs qui avaient voté dans le passé FN. Aujourd’hui, c’est très peu corrigé » explique son confrère de Kantar. Pour Emmanuel Rivière, publier les chiffres bruts « serait une bonne idée, mais après l’élection, pour qu’on mette les choses sur la table pour la communauté scientifique, les sondeurs. Mais avant, il y a un tel niveau de paranoïa sur les tentatives de manipulation, que ça ne ferait qu’ajouter à la confusion. Et il y aurait une utilisation politique de ces chiffres ».

« Il y a une influence des sondages sur l’élection »

Au final, Emmanuel Rivière ne nie pas qu’« il y a une influence des sondages sur l’élection. Ça influence beaucoup ce que disent les commentateurs. (…) Le fait que les sondages montrent l’avance de Mélenchon sur Hamon, à un moment, ça finit par s’auto-entretenir. Mais ce n’est pas forcément auto-réalisateur. En 2012, quand Sarkozy progressait, ça reboostait au contraire Hollande ». Reste qu’ « il est possible », selon le sondeur, qu’Emmanuel Macron soit aidé par les bons sondages, qui renforcent l’idée d’un vote utile en sa faveur. « Mais ça  ne suffit pas » ajoute Emmanuel Rivière, « sinon Alain Juppé aurait été désigné à la primaire »… où les sondages n’avaient, pour le coup, pas brillé par leur précision. A leur décharge, ces primaires de droite étaient une première.