open Menu secondaire

Perspectives électorales – Élection générale de 2004

Perspectives électorales – Janvier 2005

Les sondages et la Loi électorale du Canada

Claire Durand
Professeure, Département de sociologie, Université de Montréal


« Le droit du public à une information fiable et de qualité constitue sans nul doute l'un des principes fondamentaux de nos sociétés démocratiques... » note 1. C'est la reconnaissance de ce principe qui a amené le législateur à introduire dans la refonte de la Loi électorale du Canada en 2000 un article portant sur la présentation et l'accès aux informations méthodologiques concernant les sondages publiés durant les campagnes électorales. Dans cette loi adoptée en février 2000, le paragraphe 326(1) fait obligation de présenter, en même temps que les résultats d'un sondage, le nom du sondeur et du commanditaire, la période de collecte, la population de référence du sondage, le nombre de personnes contactées et, le cas échéant (italiques de l'auteur note 2), la marge d'erreur des résultats présentés. Le paragraphe 326(2) requiert la publication du libellé des questions posées ainsi que d'une mention concernant la manière dont le lecteur peut avoir accès à un rapport contenant des informations méthodologiques supplémentaires. Le paragraphe 326(3) décrit les informations qui devront être présentes dans le rapport mentionné : la méthode d'échantillonnage et diverses informations relatives à l'échantillon, au taux de réponse, au moment des entrevues et à la méthode utilisée pour rajuster les données en fonction notamment des discrets (personnes interviewées ne répondant pas à une question donnée).

Un peu d'histoire

Rappelons qu'un tel article n'existait pas dans la Loi promulguée en 1993 note 3 malgré les représentations faites en ce sens devant la Commission royale sur la réforme électorale et le financement des partis (Commission Lortie). À cette époque, une analyse de la présentation de la méthodologie des sondages dans les médias note 4 avait montré d'importantes lacunes. L'auteur notait particulièrement l'absence d'informations sur le taux de réponse, sur la pondération ou le redressement effectué ainsi que sur la taille des échantillons régionaux. De plus, le libellé des questions n'était pas toujours présent. Il proposait que la Loi exige la publication d'un encart méthodologique comprenant un certain nombre d'informations précises. Suite à la promulgation de la Loi, Lachapelle, dans une analyse de la présentation de la méthodologie des sondages lors de l'élection de 1993, fait un constat tout aussi désolant qu'en 1991 : « L'information méthodologique nécessaire pour juger de la qualité d'un sondage est souvent manquante ou occultée à travers l'ensemble des données fournies » note 5. Lors de l'élection fédérale de 1997, Andersen « reprend le flambeau » et analyse les informations méthodologiques de base dans l'ensemble des articles présentant des données de sondage. Il constate que 64 % ne mentionnent pas la période de collecte, 33 % la taille de l'échantillon, 25 % la marge d'erreur, 21 % le libellé de la question et 14 % la proportion d'indécis note 6.

Après la promulgation de la nouvelle Loi en 2000, Durand montre que les informations de base demandées par le paragraphe 326(1) sont généralement présentes et que le paragraphe 326(2) concernant la publication du libellé de la question sur l'intention de vote ainsi que la mention de la disponibilité d'un rapport détaillé est respectée note 7. Toutefois, la majeure partie des informations qui devraient apparaître dans le rapport fourni par les sondeurs (par. 326(3)) sont absentes à quelques exceptions près.

Qu'en est-il en 2004?

Durant la campagne du 23 mai au 27 juin 2004, 17 sondages pancanadiens ont été publiés dans les médias nationaux anglophones et francophones (The Globe and Mail, The Toronto Star, The National Post, La Presse, Le Journal de Montréal, The Gazette et La Presse Canadienne). Quatre firmes, Ipsos-Reid (7 sondages), EKOS (4), Léger Marketing (4) et COMPAS (2) ont réalisé ces sondages. De plus, Environics a publié un sondage sur son site Web et SES Research a publié sur son site Web des sondages continus pour CPAC – nous en avons retenu quatre pour ne pas avoir d'information redondante.

Tableau 1
Respect des paragraphes 326(1) et 326(2) par les médias de la Loi électorale du Canada

Paragraphe 326(1) Information mentionnée
Média Nombre d'articles Sondeur (nombre) Période de collecte Population de référence Nombre de répondants (National) Marge d'erreur (National) Nombre de répondants (Régional) Marge d'erreur (Régional)
The Globe and Mail 7 Ipsos-Reid (7) information présente Canadiens (1/7)
Adultes (3/7)
Non publiée (3/7)
information présente1 information présente2 0/7 0/7
The National Post/The Gazette 3 COMPAS (2) information présente Canadiens (2/3)
Non publiée (1/3)
information présente information présente 0/2 0/2
La Presse/The Toronto Star3 5 EKOS (4) information présente Canadiens, 18+ (3/5)
Canadiens (1/5)
18 ans + (1/5)
information présente information présente 2/34 1/3 (Qc)
Le Journal de Montréal 3 Léger
Marketing (3)
information présente Canadiens (2/3) information présente5 information présente 2/3 (Qc) 2/3 (Qc)
Presse Canadienne 1 Léger
Marketing (1)6
information présente Adultes (1/1) information présente information présente 0/1 0/1
SES Research 47 SES Research (4) information présente Non publiée (4/4) information présente information présente 1/1 1/1
Environics 1 Environics (1) information présente Canadiens adultes (1/1) information présente8 information présente 0/1 0/1

Paragraphe 326(2) et autre Information mentionnée
Média Nombre d'articles Libellé de la question Information pour accès au rapport (Autre) Encart méthodologique
The Globe and Mail 7 7/7 0/7 0/7
The National Post/The Gazette 3 1/3 0/3 0/3
La Presse/The Toronto Star3 5 5/5 0/5 0/5
Le Journal de Montréal 3 2/3 0/3 0/3
Presse Canadienne 1 0/1 1/1 0/1
SES Research 47 4/4 0/4 4/4
Environics 1 1/1 0/1 1/1

1 Le Globe and Mail mentionne également de façon systématique le nombre de personnes ayant répondu à la question sur l'intention de vote.

2 Le Globe and Mail mentionne également la marge d'erreur spécifique à la question sur l'intention de vote dans trois de ses articles.

3 Quatre articles de La Presse et un seul du Toronto Star ont été analysés, les articles des deux quotidiens étant équivalents.

4 Mention des tailles des échantillons du Québec et de l'Ontario dans l'un des articles, du Québec seulement dans l'autre.

5 Le Journal de Montréal mentionne également dans l'un de ses articles le nombre spécifique de personnes ayant répondu à la question sur l'intention de vote.

6 Nom du commanditaire du sondage non précisé.

7 Quatre sondages de SES Research ont été retenus, soit un par semaine, de façon à éviter le recoupement des échantillons.

8 Enviroincs mentionne également le nombre de répondants qui sont admissibles au vote, c'est-à-dire qui sont citoyens canadiens et ont 18 ans ou plus.

Le tableau 1 fait le bilan du respect des paragraphes 326(1) et 326(2) par les médias. Les articles retenus (24) sont ceux présentant les sondages pour une première fois. Certaines des informations requises par le paragraphe 326(1) sont maintenant automatiquement présentées par la plupart des médias, tels le nom du sondeur et du commanditaire, la période de collecte des informations, le nombre de répondants total et la marge d'erreur pour l'échantillon national. L'information donnée pour la marge d'erreur – à l'exception du Globe and Mail – est celle de la marge d'erreur maximale (à 50 %) pour l'échantillon total et non pas pour l'échantillon des personnes ayant répondu à la question sur l'intention de vote. Or, la non-réponse à la question sur l'intention de vote varie de 7 % à 26 %, modifiant de façon sensible la marge d'erreur. Les informations sur la population de référence sont présentées mais extrêmement succinctes (adultes, Canadiens).

Des intentions de vote régionales sont présentées dans 18 des 24 articles. L'esprit de la Loi voudrait que les informations sur la taille des échantillons et la marge d'erreur soient également présentes dans ces cas. À quelques exceptions près, ni la taille des échantillons régionaux, ni la marge d'erreur associée ne sont présentés. Lorsqu'elles le sont dans les articles, il s'agit uniquement des informations pour le Québec (Le Journal de Montréal et un article dans La Presse) ou pour le Québec et l'Ontario (un article dans La Presse). Un seul article, sur le site de SES Research, donne la taille de tous les échantillons régionaux et la marge d'erreur associée. Les intentions de vote dans les diverses régions ont donc été abondamment commentées par les médias étant donné les concentrations régionales des partis sans qu'il soit possible de connaître la marge d'erreur des informations.

Tableau 2
Respect du paragraphe 326(3) par les firmes de sondage
Sondeur Méthode d'échantillonnage Taille de l'échantillon initial Taux de réponse Refus et éligibles Heure du jour de la tenue des entrevues % de discrets/ % d'indécis Traitement des discrets Redressements et adjustements
Ipsos-Reid
7 sondages
Échantillon représentatif au hasard (6/7)
Échantillon au hasard (1/7)
Discrets 7/7
Indécis 7/7
Région, âge, sexe (4/4)
COMPAS
2 sondages
Échantillon national représentatif (1/2)
Échantillon représentatif (1/2)
Discrets 2/2
Indécis 1/2
1/2 Région, âge, sexe (1/2)1
EKOS
4 sondages
Échantillon au hasard (2/4)
Échantillon au hasard stratifié (1/4)
Panel (1/4)2
Discrets 4/4
Indécis et refus 3/4
Région, âge, sexe (4/4)3
Léger Marketing
4 sondages
1/4 Discrets 4/4
Indécis 4/4
3/4 Âge, sexe, langue maternelle (3/4)4
Sexe, langue maternelle et région (1/4)
SES Research
4 sondages
Échantillon aléatoire Soir Discrets 3/4
Indécis 4/4
Environics
1 sondage
Discrets 0/1
Indécis 1/1

1 On mentionne dans le rapport que les données proviennent de Statistique Canada, sans spécifier la source exacte.

2 Entrevues de suivi avec tous les répondants du sondage, du 7 au 9 juin.

3 On ne mentionne pas dans le rapport l'année des données de recensement utilisées.

4 On mentionne dans le rapport que les données proviennent de Statistique Canada, sans spécifier la source exacte.

Pour ce qui est du respect du paragraphe 326(2), quatre articles sur 24 n'ont pas présenté le libellé de la question et, contrairement à ce qui s'était produit en 2000, un seul article, provenant de la Presse Canadienne, a informé ses lecteurs de la disponibilité d'un rapport détaillé et des moyens de se le procurer. Lors de l'élection de 2000, la plupart des médias renvoyaient les lecteurs aux sites Web des firmes de sondage. Nous avons donc vérifié la présence des informations requises par le paragraphe 326(3) sur les sites Web des firmes. Le tableau 2 présente les informations disponibles. Les informations habituellement présentes portent sur la méthode d'échantillonnage, la proportion de répondants discrets ou indécis et le redressement utilisé. Léger Marketing et Environics ne précisent pas la méthode d'échantillonnage qu'ils utilisent. Les informations données par les autres firmes sont très succinctes : elles ne permettent pas de savoir si les numéros de téléphone non inscrits au bottin sont inclus dans la base d'échantillonnage ni de connaître le mode de sélection utilisé à l'intérieur des ménages. Pour ce qui est du redressement, deux firmes, SES Research et Environics, ne donnent aucune information. EKOS ne mentionne pas expressément l'année des données de recensement utilisées en référence alors que Léger Marketing et COMPAS mentionnent uniquement que les données proviennent de Statistique Canada. Les informations liées au taux de réponse ne sont habituellement pas présentes note 8 sauf pour le dernier sondage de Léger Marketing. Seul Léger Marketing (trois sondages sur quatre) et COMPAS (pour un seul sondage) mentionnent expressément la manière dont les discrets ont été traités et seul SES Research mentionne la période du jour où il effectue les entrevues.

Enfin, pour ce qui est des intentions de vote régionales, la proportion des discrets au sein des échantillons est présentée pour les derniers sondages réalisés par Ipsos-Reid, COMPAS, SES Research (indécis seulement) et Léger Marketing mais non pour les premiers sondages.

Il ressort de cette analyse que dans l'ensemble, les médias ont respecté formellement les dispositions de l'article 326 dans leurs publications à l'exception de la mention de la disponibilité d'un rapport détaillé. Toutefois, les informations reliées au taux de réponse requises dans les rapports habituellement fournis par les sondeurs note 9 sont notablement absentes à une exception près. Par ailleurs, l'information disponible est parfois très succincte et les informations de base permettant de juger des intentions de vote régionales sont très souvent absentes.

Si on s'attache à la qualité générale de la présentation des informations, deux points méritent d'être soulevés. D'une part, il est parfois très difficile de trouver l'information méthodologique à l'intérieur des articles. Elle peut même être présentée comme le commentaire du sondeur. Seuls Le Journal de Montréal, SES Research et Environics présentent la méthodologie séparément dans un encart. D'autre part, Lachapelle avait déjà relevé en 1991 la piètre qualité des graphiques illustrant l'évolution des intentions de vote. La situation sur ce point ne s'est pas améliorée. Aucun graphique illustrant l'évolution des intentions de vote, quelle que soit la période utilisée – campagne, quelques mois, dernière élection –, ne respecte la ligne de temps. Ainsi, on peut trouver à équidistance les points représentant les intentions de vote en juin 2000, en janvier 2004, en avril 2004 et trois sondages réalisés en mai de la même année. Ce type de graphique donne une représentation faussée de l'évolution des intentions de vote et peut induire le lecteur en erreur.

En conclusion

Quoique la situation ne soit pas catastrophique, Élections Canada pourrait aider à faciliter la vie de tous, médias, sondeurs, lecteurs et experts, en rappelant les dispositions de la Loi aux médias lors de la prochaine élection et en proposant une présentation-type, tel un encart méthodologique pour la présentation dans les médias et un rapport-type pour les firmes de sondage. Il y aurait également lieu de préciser que l'information de base doit être présente pour toutes les intentions de vote présentées, y compris pour chaque région. Par ailleurs, la Loi pourrait être modifiée pour que l'information sur les indécis, essentielle, soit obligatoirement présentée dans les articles plutôt que dans les rapports détaillés. Enfin, les médias devraient se pencher sur la présentation graphique de l'évolution des intentions de vote, notoirement déficiente.

Notes

Note 1 Guy Lachapelle, « La réglementation des sondages au Canada et l'élection de 1993 », Revue québécoise de science politique, nº 27, (printemps 1993), p. 175-201.

Note 2 Cette insertion fait probablement référence au fait que, théoriquement, la marge d'erreur ne s'applique qu'aux échantillons strictement aléatoires par opposition aux échantillons par quotas.

Note 3 La Loi de 1993 interdisait la publication des résultats des sondages d'opinion pendant les trois derniers jours de la période électorale.

Note 4 Guy Lachapelle, Les sondages et les médias lors des élections au Canada; le pouls de l'opinion, vol. 16 de la collection d'études de la Commission royale sur la réforme électorale et le financement des partis, Toronto, Dundurn Press et Montréal : Wilson et Lafleur, 1991, 211 p.

Note 5 Lachapelle, « La réglementation des sondages au Canada et l'élection de 1993 », p. 182.

Note 6 Robert M. Andersen, « Reporting Public Opinion Polls: The Media and the 1997 Canadian Election », International Journal of Public Opinion Research, vol. 12, nº 3, automne 2000, p. 285-298.

Note 7 Claire Durand, « The 2000 Canadian Election and Poll Reporting under the New Elections Act », Canadian Public Policy, vol. 28, nº 4, 2002, p. 539-545.

Note 8 Le journal La Presse a tenté de comprendre pourquoi il y avait des différences notables entre les résultats de deux sondages qu'elle avait commandés à EKOS et CROP. Le journaliste Denis Lessard (« Les écarts entre les sondages », La Presse, 12 juin 2004, p. A34) a donc obtenu et publié les taux de réponse pour ces sondages, avançant la différence entre les taux comme une explication possible des différences de résultats. Par la suite, le taux de réponse du sondage CROP fait au Québec seulement a également été publié.

Note 9 Il s'agit toutefois formellement de la responsabilité du média de voir à ce que les informations soient disponibles.


Note : 

Les opinions exprimées par les auteurs ne reflètent pas nécessairement celles du directeur général des élections du Canada.