Aller au contenu principal

Pas besoin d’une étude ultra complexe : pourquoi une évaluation d’impact « acceptable » suffit

Pas besoin d’une étude ultra complexe : pourquoi une évaluation d’impact « acceptable » suffit

Grande fresque murale colorée recouvrant un immeuble à Philadelphie, représentant des personnages, la vie communautaire et des scènes de quartier urbain.
Partager

Demandez à des entreprises qui octroient des subventions ce qui les empêche de dormir, et il y a de fortes chances que l’évaluation de l’impact figure parmi leurs principales préoccupations. Les entreprises doivent disposer de chiffres à présenter à leur conseil d’administration pour justifier leurs décisions. Les organismes à but non lucratif (OBNL) doivent quant à eux mettre en œuvre des programmes, et non remplir des documents. Et entre les deux, une multitude de rapports sont rédigés, mais souvent rarement lus.

Le 6 octobre dernier, nous avons donc réuni des dirigeant.e.s d’entreprises et d’OBNL à Toronto à l’occasion du Community Impact Exchange, le tout dernier événement de la série d’apprentissage du Réseau PRISME commandité par YourCause from Blackbaud. La discussion s’est poursuivie quelques jours plus tard lors d’une séance virtuelle avec un groupe de personnes de partout au pays. Après une allocution d’ouverture inspirante de responsables du Fonds Gord Downie et Chanie Wenjack et une table ronde animée sur l’avenir de l’évaluation de l’impact, nous sommes passés à l’action lors d’un atelier pratique animé par True Impact.

Un message clair et net s’est dégagé de notre atelier : une évaluation « acceptable » ne signifie pas que nous plaçons la barre moins haut. Il s’agit plutôt d’une évaluation à la hauteur de l’importance de la décision qu’elle sous-tend. Que vous ayez participé à l’atelier ou non, voici ce que vous pouvez mettre en pratique dès maintenant. 

Le juste milieu entre « Nous avons dépensé 200 000 $ » et une dissertation

Imaginez la présentation de l’impact comme un spectre. À une extrémité, on trouve le montant dépensé, à l’autre, une exigence irréalisable : une étude universitaire sur les résultats du programme qu’aucun OBNL n’a le temps ni les moyens de produire pour chaque subvention obtenue.

L’idéal se situe entre les deux : « Nous avons aidé 1 352 personnes à trouver un logement permanent, selon nos responsables en travail social qui assurent le suivi des dossiers des résidents chaque année. » C’est clair, c’est crédible et cela ne submerge pas vos partenaires de paperasse.

Pour en arriver là, il faut savoir reconnaître un effet lorsqu’il y en a un. « 450 arbres ont été plantés », c’est un extrant; l’effet, c’est la réduction des émissions de carbone. « Deux millions de dollars ont été amassés pour financer des bourses d’études », c’est un intrant; l’effet, ce sont les étudiants qui obtiennent leur diplôme. Chaque exemple s’arrête juste avant le changement qui nous tient réellement à cœur.

Si vous avez du mal à décrire vos effets, partez de votre mission. Vous connaissez déjà la raison d’être de votre organisme et ce que votre travail devrait permettre de changer. C’est ça votre impact. Il n’est pas nécessaire qu’il soit déjà parfaitement formulé ou entièrement mesurable. Il suffit que ce soit le changement que vous visez.

Trois façons de parler de votre impact en toute honnêteté

Gabe Cohen, de True Impact, nous a vivement recommandé de retenir ceci : vous n’avez pas besoin d’une étude en double aveugle pour parler de votre impact de façon crédible.

Faire preuve de rigueur ne consiste pas à recueillir toutes les données possibles et imaginables. Il s’agit plutôt d’adopter une approche intentionnelle, c’est-à-dire décider ce qu’on souhaite suivre, expliquer clairement comment on en est arrivé à ces conclusions et admettre qu’on ne le sait pas encore lorsque c’est le cas. Dans cette optique, Gabe a fait part de trois façons honnêtes de parler des résultats :

  1. Hypothèse. Supposition éclairée fondée sur votre expérience et ce que vous constatez au jour le jour. C’est un bon point de départ pour les programmes nouveaux ou novateurs dont vous commencez à peine à évaluer l’impact.
  2. Estimation. Approximation réfléchie, fondée sur un échantillon, un projet pilote, des résultats antérieurs ou des études publiées dans votre domaine. L’estimation s’avère particulièrement utile pour les résultats à long terme et le travail visant des changements systémiques, où le suivi direct des changements pourrait prendre des années.
  3. Évaluation directe. Résultat suivi et vérifié à l’aide des données que vous détenez. Il s’agit de l’option la plus rigoureuse, mais aussi la plus dispendieuse; il convient de la réserver aux cas réellement importants.

Plus vous vous rapprochez d’une évaluation directe, plus vos chiffres deviennent fiables, mais plus leur production est coûteuse. Les trois options sont valables. Ce qui importe, c’est de faire preuve de transparence quant à celle que vous utilisez. Une estimation éclairée a de la valeur, pourvu que vous la décriviez clairement.

Lorsque les bailleurs de fonds exigent une évaluation directe, ils décident également à qui ils octroient du financement. Les organismes qui disposent d’un budget d’évaluation peuvent satisfaire cette exigence, mais les petits groupes communautaires, qui font un travail tout aussi valable, en sont souvent incapables. Cette approche favorise également des initiatives déjà éprouvées. Comme les programmes nouveaux et novateurs n’ont pas encore eu le temps de faire leurs preuves, ils ne peuvent pas produire de données concrètes. L’acceptation d’une supposition bien identifiée ou d’une estimation réfléchie uniformise les règles du jeu et laisse de la place aux nouvelles idées dont l’efficacité reste à démontrer.

À quoi ressemble la description de votre méthode dans la pratique? Essayez d’utiliser une phrase comme la suivante dans votre prochain rapport : « Nous estimons que 70 à 80 % des participant.e.s ont réussi [résultat], selon un sondage mené auprès de 40 des 200 personnes qui ont participé au programme. Malheureusement, nous ne sommes pas encore en mesure d’assurer le suivi des participant.e.s qui ont terminé le programme, et nous sommes conscients qu’il s’agit là d’une lacune. »

Maintenant, comparez cela à un 92 % fourni sans autre explication. Dans le premier cas, les bailleurs de fonds ont une indication claire de l’importance du résultat présenté. Dans le second cas, ils n’ont aucune idée d’où il provient.

Laissez l’IA se charger de la recherche, pas de la rédaction

Un grand nombre d’organismes du secteur utilisent l’IA pour écrire. Selon une étude sur le recours à l’IA publiée par Imagine Canada et le Centre canadien pour la résilience numérique des OBNL, 67 % des OBNL utilisent l’IA pour les communications et la collecte de fonds, tandis qu’ils sont moins nombreux à y avoir recours pour les données et l’évaluation.

Au lieu de demander à l’IA de rédiger votre rapport d’impact, demandez-lui plutôt de trouver des études qui vous permettront d’estimer les résultats dont votre organisme n’est pas en mesure d’assurer le suivi. True Impact a cité l’application Consensus comme un bon exemple pour illustrer comment l’IA rend la recherche universitaire plus accessible. Un organisme ne peut pas faire le suivi des bénéficiaires à un programme de mentorat pour les jeunes pendant dix ans. Toutefois, des études publiées sur des programmes similaires peuvent l’aider à se faire une idée des effets probables à long terme. C’est là que l’option « estimation » entre en jeu.

Petite mise en garde : l’IA peut rapidement trouver des sources de données, mais quelqu’un doit tout de même les lire intégralement (jusqu’au dernier paragraphe), vérifier qu’elles correspondent à la communauté qui bénéficie de vos services et aux hypothèses que vous retenez, et citer ces sources correctement.

Concentrez-vous sur les œuvres réalisées, pas sur les outils utilisés 

Large, colourful mural covering a building in Philadelphia, depicting people, community life, and urban neighbourhood scenes.

Légende : Personal Renaissance © 2010 Mural Arts Philadelphia/James Burns. Photo de Steve Weinik.

L’atelier a débuté par la présentation d’une photo d’une murale communautaire haute en couleur et par une question d’une simplicité trompeuse : quel est l’impact d’un pinceau?

En soi, bien peu. Personne ne juge une murale en comptant les coups de pinceau. On juge plutôt le résultat une fois que la peinture a séché.

La murale présentée a été peinte sur le mur d’une clinique de méthadone, dans le nord de Philadelphie, dans le cadre du Porch Light Program, une initiative collaborative du Philadelphia Mural Arts Program et du Département de la santé comportementale et des services aux personnes ayant une déficience intellectuelle de Philadelphie. Avant la réalisation de la murale, c’était un secteur que les gens traversaient en toute hâte, la tête baissée. Maintenant, ils s’y arrêtent pour discuter. Les gardiens de sécurité qui gardaient les portes verrouillées les tiennent désormais ouvertes. De la musique joue à l’entrée. Ce changement touche aussi les peintres. Ils passent devant un mur où figure leur nom la tête un peu plus haute, se qualifient d’artistes et s’inscrivent au prochain projet artistique.

Ce n’est pas l’œuvre d’un seul pinceau, mais rien de tout cela ne serait possible sans de tels outils.

À cela s’ajoutent des données probantes également. Selon une étude réalisée par Maya Moritz, les crimes commis pendant le jour ont diminué de 42 % en moyenne aux alentours des nouvelles murales de Philadelphie, un impact toujours perceptible sept ans plus tard. C’est exactement le genre de données dont raffolent les conseils d’administration. Or, cette donnée n’explique pas pourquoi un jeune artiste est fier ni pourquoi les portes restent maintenant ouvertes. Il faut les deux : pas de données sans histoires, pas d’histoires sans données.

Bailleurs de fonds, ceci s’adresse à vous : votre subvention est un « pinceau » (outil). Si vous demandez à un OBNL de rendre compte seulement de la partie du programme que vous avez financée, vous obtenez une donnée peu significative, et vous obligez votre partenaire à rédiger un rapport personnalisé de plus. Demandez plutôt tous les détails du programme que vous avez appuyé, les chiffres et les personnes concernées, puis reconnaissez honnêtement la part qui vous revient. C’est un excellent exemple de philanthropie fondée sur la confiance : votre partenaire vous raconte l’histoire une fois, à sa manière, et, de votre côté, vous donnez de l’écho à celle-ci.

Votre trousse « acceptable »

Tout ce que nous avons abordé précédemment se retrouve dans notre nouveau guide Évaluer l’impact social des entreprises : recommandations pour des partenariats et rapports pertinents. Rédigé à l’origine par l’ACCP et True Impact, aux États-Unis, Imagine Canada a collaboré avec ces derniers pour adapter le guide au contexte canadien afin qu’il serve de complément aux pratiques PRISME. Le guide accompagne les entreprises dans quatre étapes :

  1. Définir vos priorités philanthropiques et en faire le suivi;
  2. Établir des exigences réalistes en matière de reddition de comptes;
  3. Revendiquer votre impact (ni plus ni moins);
  4. Améliorer vos investissements grâce aux données.

Vous y trouverez également des sections recommandées pour les rapports d’impact des OBNL, des exemples de formulations contractuelles et des conseils sur les revendications de contribution. Le guide comprend également des remarques sur la réconciliation et la souveraineté de données autochtones, qui méritent une réflexion approfondie.

Téléchargez le guide Évaluer l’impact social des entreprises ici.

Prochaine étape

S’il y a un fil conducteur qui a marqué la séance de l’après-midi, c’est que l’évaluation de l’impact donne les meilleurs résultats lorsque les bailleurs de fonds et les OBNL la définissent ensemble. C’est ce qui a fait la particularité de cette rencontre : des dirigeant.e.s d’entreprises et d’OBNL se sont assis à la même table, ont discuté ouvertement de ce qu’ils aimeraient que l’autre partie comprenne et ont constamment recentré la conversation sur les communautés qui bénéficient de leurs programmes et services.

C’est une leçon à retenir. Une évaluation acceptable ne se résume pas à un rapport produit ou au respect d’un cadre plutôt qu’un autre. Il s’agit plutôt de faire confiance à ses partenaires, de partager équitablement le fardeau et de comprendre les changements concrets qui s’opèrent pour les gens.

Nous remercions nos conférenciers et conférencières, YourCause from Blackbaud, commanditaire de la série d’apprentissage du Réseau PRISME 2026, True Impact, commanditaire de notre atelier, le Fonds Gord Downie et Chanie Wenjack ainsi que les personnes qui ont participé à l’événement, en personne à Toronto et à la séance virtuelle.

Vous n’avez pas pu participer à la séance virtuelle? Visionnez l’enregistrement ici.

Le Réseau PRISME est la principale communauté d’entreprises du Canada déterminées à repenser les partenariats entre les entreprises et le secteur à but non lucratif, qui, collectivement, investissent chaque année près de 1 milliard de dollars dans les collectivités canadiennes. Apprenez-en plus au sujet du Réseau PRISME et abonnez-vous à l’infolettre trimestrielle Perspectives PRISME pour connaître les événements de la série d’apprentissage du Réseau PRISME prévus en 2027. 

Abonnez-vous à Imagine 360°
Restez à l'affût des nouvelles provenant de notre secteur.
Vous pouvez vous désabonner en tout temps en cliquant sur le lien indiqué dans votre courriel de confirmation.
Imagine Canada, 65 St Clair Avenue East, Suite 700, Toronto, ON M4T 2Y3, [email protected]
First and Last name
Language
Un groupe de bénévoles souriants distribue des t-shirts bleus et des badges lors d'un événement communautaire en plein air.
Autre blogue

Perceptions de la population canadienne à l’égard des organismes de bienfaisance et à but non lucratif

Afin d’orienter la stratégie de notre campagne nationale de sensibilisation, nous avons réalisé une étude pour savoir ce que les Canadiens et Canadiennes pensent des organismes de bienfaisance et des OBNL. Nous sommes sur le point de lancer la campagne et nous souhaitions faire part des principales conclusions de cette étude afin que d’autres organismes au sein du secteur puissent tirer profit de ces données et les utiliser pour répondre à leurs propres besoins.

Émilie Pontbriand

Autre ressource

Évaluer l’impact social des entreprises : recommandations pour des partenariats et rapports pertinents