Une importante firme d’analyse se défend d’avoir bullshité ses statistiques

Il y a une entreprise qui, depuis début 2000, analyse régulièrement les nouvelles diffusées dans les médias, évalue leurs poids, leur portée. Inversement, les médias publient ses chiffres, qui donnent un portrait global des différents événements.

Enfin, c’est ce qu’on croyait, jusqu’à ce matin. La Presse a publié un reportage dans lequel des ex-employés accusent Influence Communication de manipuler ses chiffres et de faire des calculs arbitraires.

La journaliste a cité 11 anciens employés de la firme, qui sont unanimes : la méthodologie employée pour calculer le « poids média » des nouvelles n’a « rien de scientifique ». Il est question d’une méthode de calcul « complètement aléatoire », d’emploi de « coefficients arbitraires » basés sur l’« intuition » du président de la firme, Jean-François Dumas.

À la radio ainsi que par voie de communiqué, le président d’Influence Communication a laissé entendre que plusieurs personnes interviewées par La Presse seraient maintenant des concurrents voulant « discréditer » sa firme.

« C’est totalement faux », a répliqué sur Twitter l’auteure du reportage, Isabelle Hachey.

Un reportage du Huffpost mentionne que, selon ses informations, seulement une des sources de Mme Hachey travaillerait aujourd’hui pour un compétiteur.

M. Dumas admet qu’il ne fait que comptabiliser le nombre de mentions d’une nouvelle pour évaluer son poids médiatique. Contrairement à ce qu’avançait la firme en 2011 dans son bilan annuel, on ne se soucie pas de la longueur du reportage, du lectorat ou des cotes d’écoute du média, du traitement de la nouvelle, de son emplacement dans le média ou le bulletin…

La méthodologie consiste à ouvrir la base de données Eureka, qui répertorie les articles de journaux et de magazines d'actualité, et à compter le nombre de fois qu’une nouvelle apparaît.

Selon les témoignages recueillis, on emploie ensuite un coefficient, c’est-à-dire qu’on multiplie le nombre de mentions par un nombre préétabli. Celui-ci est « censé refléter la diffusion de la nouvelle dans les médias électroniques ».

Par exemple, d’après La Presse, « les nouvelles considérées comme « ordinaires » sont fréquemment multipliées par 2,7, alors que celles qui sont jugées plus importantes sont multipliées par 3,3. Tout ce qui concerne les Canadiens de Montréal est généralement multiplié par 5,5. Les tragédies, comme le drame de Lac-Mégantic, sont multipliées par 6,6 – parfois moins, parfois davantage. Les chiffres fluctuent sans logique apparente, au gré des nouvelles. »

D’où viennent ces 2,7, ces 5,5? Mystère.

Les ex-employés affirment que personne à l’interne ne savait d’où provenaient ces coefficients, qui seraient d’ailleurs encore utilisés aujourd’hui; ce que dément M. Dumas.

Autrefois questionné sur ses méthodes par une ancienne directrice, Jean-François Dumas avait répondu qu’il ajoutait sa « sauce secrète du Big Mac ».

Un ex-analyste assure qu’en plus, les chiffres sont manipulés. Alors qu’il calculait le poids médiatique d’un fait divers tragique, son supérieur lui aurait dit : « Cela doit être plus élevé que cela. Augmente le chiffre. »

Même son de cloche chez une ex-directrice de la firme. « On arrivait à un résultat et Jean-François disait : "Ben non, on en a parlé bien plus que ça, me semble, dans les médias." Et il faisait monter la nouvelle dans le bilan [hebdomadaire]. »

Jean-François Dumas assure qu’il ne présente pas de chiffres arbitraires aux médias québécois.

« Ce n'est pas arbitraire dans la mesure où c'est l'arithmétique à laquelle on est arrivés », le cite La Presse. Pour ce qui est du hockey, il explique avoir « estimé à ce moment-là qu'il y avait en moyenne 5,5 fois plus de contenu de sports, avec toutes les chaînes continues, qu'il y avait de faits divers ».

Dans un communiqué publié ce matin, M. Dumas a défendu ses facteurs de pondération, sans expliquer en détail leur provenance. Il s’est limité à expliquer qu’ils servent« à assurer que les données sont le meilleur reflet possible de la réalité » et à « minimiser les marges d’erreur ».

Il ajoute qu’il ne prétend nullement offrir « la mesure parfaite de l’importance d’un sujet dans l’espace public », mais il croit qu’« elle permet de donner une idée de son importance relative ».

« L’influence est difficilement quantifiable, mais elle existe bel et bien », insiste M. Dumas.

Le président ne répond cependant pas aux témoignages selon lesquels il y aurait eu manipulation de chiffres.