Évaluation du Conseil des académies canadiennes

16 mars 2018

Table des matières


Sommaire

Sommaire des recommandations

Les constatations de l'évaluation ont mené aux recommandations suivantes à l'intention d'ISDE.

  1. En collaboration avec le CAC, élaborer une approche coordonnée pour améliorer la diffusion des évaluations du CAC.
  2. En collaboration avec le ministère ou l'organisme fédéral commanditaire, renforcer le suivi des résultats et des répercussions des évaluations du CAC financées par ISDE.
  3. Revoir son processus de présentation et d'approbation afin de le simplifier et de mieux répondre aux échéances et aux besoins du gouvernement fédéral en matière de connaissances scientifiques. À l'avenir, il faudrait envisager un processus qui améliore la prévisibilité tant pour le CAC que pour le gouvernement fédéral.
  4. Élaborer des normes de service pour les principales étapes du processus de présentation et d'approbation des propositions.

L'évaluation a mesuré la pertinence et le rendement du CAC de 2005-2006 à 2016-2017 à partir d'une recherche qualitative et quantitative.

L'évaluation a constaté que le CAC répond à un besoin de connaissances scientifiques indépendantes, objectives et transparentes pour permettre une prise de décision fondée sur des données probantes. Il reçoit un flot continu de demandes d'évaluation depuis sa création.

En ce qui concerne le rendement, les données donnent à penser que le CAC a atteint les résultats attendus. Il a produit des évaluations crédibles, indépendantes et fondées sur des données probantes pour le gouvernement fédéral. Même si le CAC mène des activités de sensibilisation pour mettre en valeur les conclusions de ses évaluations, il est possible d'en faire davantage au chapitre de la diffusion. Il est prouvé que les évaluations du CAC financées par ISDE ont aidé la prise de décision. Toutefois, les résultats et les répercussions de ces évaluations sont difficiles à mesurer et ne sont pas suivis par ISDE.

Le processus de présentation et d'approbation des propositions d'ISDE aide efficacement la réalisation régulière d'évaluations par le CAC au nom du gouvernement fédéral.

Toutefois, il est à la fois long et imprévisible, et les ministères et organismes fédéraux ont récemment présenté directement au CAC davantage de propositions d'évaluations urgentes financées à même leurs fonds propres.

Dans l'ensemble, l'évaluation a révélé que la prestation de services du CAC est efficiente et efficace. Le recours à des experts bénévoles contribue à réduire le coût des évaluations du CAC. Les coûts d'évaluation et d'administration correspondent aux attentes, et l'organisme a amélioré l'exploitation du financement provenant d'autres sources ces dernières années. Les temps d'exécution des évaluations sont largement conformes aux objectifs.

En ce qui concerne sa gouvernance et son fonctionnement, le CAC a apporté des améliorations au cours des dernières années, ce qui a contribué à des gains d'efficience et d'efficacité dans la production des évaluations.

Le Conseil des académies canadiennes (CAC) est un organisme sans but lucratif fondé en 2005 pour produire des évaluations portant sur un large éventail de sciences. Innovation, Sciences et Développement économique Canada (ISDE) soutient le CAC au nom du gouvernement fédéral depuis sa création.

Contexte

  • Description et objectifs du programme
  • Structure organisationnelle du CAC
  • Demandes d'évaluation et financement du CAC

Description et objectifs du programme

Pour atteindre ses objectifs, le CAC examine les demandes d'évaluation afin de s'assurer que :

  • le sujet est important pour le Canada et ses citoyens;
  • les experts en la matière peuvent être réunis;
  • le délai proposé peut-être respecté;
  • l'état actuel des connaissances mérite d'être évalué;
  • La science sous-tend la question et sa réponse.Note de bas de page 2

Réunir les experts. Évaluer les preuves. Éclairer les décisions

Conseil des académies canadiennes

Objectif du CAC

Le CAC est un organisme sans but lucratif fondé en 2005 pour produire des rapports d'évaluation portant sur un large éventail de sciences englobant les sciences naturelles, les sciences sociales, les sciences de la santé, le génie et les sciences humaines.

L'objectif du CAC est d'améliorer l'accès des Canadiens aux meilleures connaissances scientifiques disponibles sur des questions pressantes en produisant des évaluations crédibles et indépendantes susceptibles d'éclairer le débat, la discussion et la prise de décisionNote de bas de page 1. Les évaluations sont menées par des comités multidisciplinaires d'experts bénévoles de partout au Canada et de l'étranger.

À propos des évaluations du CAC

L'objectif principal des évaluations du CAC est de mesurer et de présenter les meilleures données probantes disponibles sur des questions complexes au sujet desquelles les renseignements scientifiques peuvent être compliqués à comprendre, conflictuels ou difficiles à recueillir. Les évaluations visent à cerner les questions émergentes, les lacunes dans les connaissances, les points forts du Canada et les tendances et pratiques internationales. Elles ne présentent pas de recommandations, mais formulent plutôt des conclusions fondées sur les connaissances scientifiques du moment. Les intervenants qui demandent une évaluation n'ont pas de rôle ou d'influence dans la conduite de ces évaluations et n'y ont pas accès tant qu'elles ne sont pas terminées et rendues publiques.

Auparavant, le CAC offrait trois types d'évaluations : des évaluations standards, des évaluations simplifiées et des ateliers. Toutefois, en 2016-2017, les évaluations simplifiées et standards ont été regroupées dans une catégorie générale, car on a constaté que les évaluations simplifiées nécessitaient des ressources semblables en ce qui concerne les experts bénévoles, les réunions et le temps nécessaire pour recueillir l'information et assembler le produit final.

Structure organisationnelle du CAC

Le CAC est dirigé par un conseil d'administration de 12 membres, qui est chargé d'établir l'orientation stratégique du CAC. Il est appuyé dans sa gouvernance par ses trois académies fondatrices. Chacune d'elles nomme deux membres au conseil; il peut s'agir de membres (fellows) ou de cadres supérieurs de ces académies. Ces six membres nomment ensuite conjointement deux administrateurs issus du grand public. Les quatre autres administrateurs sont proposés par le ministre de l'Innovation, des Sciences et du Développement économique et sont officiellement nommés par le conseil d'administration. Un représentant d'ISDE siège au conseil d'administration à titre d'observateurNote de bas de page 3.

Le conseil nomme également un comité consultatif scientifique (CCS) composé d'experts qui ont acquis une crédibilité auprès de leurs pairs et qui jouissent d'une réputation nationale ou internationale dans leur domaine de recherche. Le CCS fournit des conseils d'expert sur la pertinence des sujets potentiels d'évaluation et formule des commentaires sur le choix des experts et des examinateurs.

Structure organisationnelle du CAC

Description de l'organigramme organisationnelle du CAC

L'organigramme organisationnelle du CAC représente la structure et les rapports hiérarchiques en place au CAC. Tout en haut de l'organigramme se trouve le conseil d'administration du CAC, lequel est composé de l'Académie canadienne du génie, de l'Académie canadienne des sciences de la santé, ainsi que de la Société royale du Canada. Le conseil d'administration est aidé du Comité consultatif scientifique. Au deuxième niveau de l'organigramme, on retrouve le président du CAC. Le troisième niveau est composé du vice-président et du directeur financier, du directeur des évaluations et de la directrice des communications et des publications. Enfin, les équipes des évaluations (formées de comités d'experts bénévoles, lesquels sont composés d'experts canadiens et étrangers bénévoles) relèvent du directeur des évaluations, alors que l'équipe des communications et des publications relève de la directrice des communications et des publications.

Demandes d'évaluation et financement du CAC

Financement par ISDE des évaluations du CAC

Afin de réaliser ses évaluations, le CAC a reçu d'ISDE une subvention immédiate de 30 M$ sur 10 ans dans le budget de 2005Note de bas de page 5 . Le financement du CAC a été renouvelé dans le budget de 2015 pour cinq autres années, selon une contribution annuelle de 3 M$ d'ISDENote de bas de page 6. Le budget de 2018 prévoit un renouvellement du financement de 9 M$ sur trois ans, à partir de 2020-2021Note de bas de page 7.

Entre 2005-2006 et 2016-2017, le CAC a effectué 36 évaluationsNote de bas de page 8, dont 30 ont été financées par ISDE (voir l'annexe A) :

  • 26 des 27 évaluations standards ont été financées par ISDE
  • 3 des 6 évaluations simplifiées ont été financées par ISDE
  • 1 des 3 ateliers a été financé par ISDE

À ce jour, ISDE a lancé un total de 14 appels de propositions.

Demandes d'évaluations du CAC

Le CAC reçoit des demandes d'évaluation des ministères et organismes fédéraux soit par l'intermédiaire d'appels de propositions d'ISDE soit directement. Il est également encouragé à solliciter des demandes d'évaluation d'autres ordres de gouvernement, d'organismes non gouvernementaux et du secteur privé.

Processus de présentation et d'approbation d'ISDE

ISDE finance les évaluations du CAC au nom de l'ensemble du gouvernement fédéral. Les évaluations sont choisies au moyen d'un processus qui commence par un appel de propositions. À ce jour, 40 % des évaluations financées par ISDE réalisées l'ont été pour des ministères et organismes autres qu'ISDE.

La Direction générale des programmes scientifiques et des partenariats d'ISDE est responsable de la mise en œuvre de la contribution au CAC, de la gestion et de la surveillance continues du financement des évaluations, du lancement des appels de propositions et du processus de présentation et d'approbation des propositions.

Avant d'être transmises au CAC, les propositions présentées à ISDE par les ministères et organismes fédéraux sont d'abord examinées en vue d'une recommandation d'approbation par ISDE, en fonction des critères suivants :

  • La proposition correspond au programme d'élaboration de politiques du ministère ou de l'organisme et du gouvernement du Canada;
  • Le sujet de l'évaluation est d'actualité et le délai permet de répondre aux besoins du ministère ou de l'organisme du gouvernement du Canada;
  • Le sujet de l'évaluation a été choisi en collaboration avec les ministères et organismes et les intervenants externes concernés;
  • La valeur qu'apporte le CAC à cette évaluation est uniqueNote de bas de page 4.

ISDE a reçu au moins 3 demandes d'évaluation des ministères et organismes au cours de chaque appel de propositions.

Méthodologie

  • Objectifs, portée et approche de l'évaluation
  • Méthodes de collecte des données

Objectifs, portée et approche de l'évaluation

Les évaluateurs se sont penchés sur les questions suivantes :

  • Pertinence
    • Dans quelle mesure le CAC répond-il à un besoin continu?
  • Rendement
    • Dans quelle mesure le CAC a-t-il obtenu les résultats attendus?
      • Produire des connaissances scientifiques crédibles et indépendantes
      • Accroître sa visibilité et la connaissance qu'on a de lui
      • Contribuer à la discussion, au débat, à l'élaboration de politiques publiques et à la prise de décision fondée sur des données probantes
  • Efficience et efficacité
    • Dans quelle mesure le programme est-il exécuté de façon efficiente et efficace?
    • Dans quelle mesure la structure de gouvernance du CAC favorise-t-elle une prestation efficace et efficiente du programme?

L'évaluation visait la période allant de 2005-2006 à 2016-2017.

Objectifs et portée de l'évaluation

L'évaluation visait à examiner la pertinence, le rendement, l'efficience et l'efficacité du CAC au fil du temps.

La Direction générale de la vérification et de l'évaluation (DGVE) d'ISDE a effectué une évaluation interne du CAC. L'évaluation s'est penchée sur les éléments clés de la pertinence et du rendementNote de bas de page 9. Elle a porté sur :
  • la pertinence du CAC;
  • les activités et le rendement du CAC entre 2005-2006 et 2016-2017;
  • l'efficience et l'efficacité du modèle de prestation du programme et de la surveillance du CAC par ISDE;
  • l'efficience et l'efficacité du fonctionnement et de la gouvernance du CAC.

Démarche d'évaluation

La pertinence du CAC a été évaluée par rapport à la mesure dans laquelle il existe un besoin continu pour le CAC et pour son travail d'évaluation. L'évaluation a mesuré le rendement du CAC par rapport à son modèle logique (voir l'annexe B). Pour évaluer l'efficience et l'efficacité du financement d'ISDE, l'évaluation s'est penchée sur la prestation du programme et sur la surveillance par ISDE. Elle a également examiné l'efficacité du fonctionnement du CAC sur le plan de la rapidité et du coût des évaluations, ainsi que les améliorations récentes apportées à la structure de gouvernance du CAC.

Évaluation externe de 2013

Aux termes de son accord de financement avec ISDE, le CAC devait faire réaliser une évaluation externe en 2013Note de bas de page 10. Son conseil des gouverneurs a donc constitué un comité d'évaluation externe à cette fin. Le comité d'experts a tiré des conclusions sur la pertinence, le rendement et l'efficience du CACNote de bas de page 11.

Méthodes de collecte des données

L'évaluation s'est appuyée sur des méthodes de recherche qualitative et quantitative. Les limites des données sont décrites à l'annexe C.

Analyse des données

Les évaluateurs ont effectué une analyse des données sur le rendement, l'administration et les finances du CAC. L'analyse a également porté sur les données du programme d'ISDE.

Analyse bibliométrique

L'analyse bibliométrique comprenait une analyse des citations (p. ex. le nombre de citations directes et indirectes d'après les bases de données Scopus et Google Scholar). Elle incluait également une analyse des auteurs (p. ex. géographie et affiliations) et des sources de publication (p. ex. revues, ouvrages, brevets et actes de conférence).

Examen documentaire

Les évaluateurs ont effectué un examen de la documentation universitaire sur les mécanismes et les approches utilisées pour produire des connaissances scientifiques fondées sur des données probantes en appui à la prise de décision gouvernementale. Ils ont aussi étudié les documents d'établissement des priorités du gouvernement fédéral, les documents concernant le programme d'ISDE et les documents de base, ainsi que les documents organisationnels et relatifs à la gouvernance du CAC.

Entrevues

Au total, 14 entrevues collectives et individuelles ont été menées avec le personnel du programme d'ISDE, les ministères et organismes fédéraux qui avaient demandé des évaluations directement au CAC, le personnel du CAC, les académies et les membres du conseil des gouverneurs et du comité consultatif scientifique.

Études de cas

Sept évaluations du CAC ont été sélectionnées pour les études de cas : L'état de la S-T (2006), L'état de la S-T (2012), Effets sur la santé de l'utilisation des armes à impulsions (2013), Incidences environnementales de l'extraction du gaz de schiste au Canada (2013), Culture scientifique (2014), Compétences en STGM (2015) et Médecine régénérative (2017). Ces études de cas ont été confiées à Goss Gilroy Inc.; elles comprenaient un examen des documents (p. ex. enquêtes de satisfaction des commanditaires et documents sur les leçons apprises), une analyse des données sur le rendement du CAC (p. ex. citations dans des documents fédéraux, dans les médias et dans le milieu universitaire) et 23 entrevues.

Analyse comparative internationale

Quatre organismes internationaux ont été sélectionnés pour l'analyse comparative (US National Academy of Sciences, UK Royal Society, Australian Council of Learned Academies et académie allemande des sciences Leopoldina). Goss Gilroy Inc. a reçu le mandat d'effectuer une comparaison du fonctionnement et de la gouvernance du CAC avec ceux d'organismes internationaux ayant des objectifs similaires (c.-à-d. sources indépendantes d'évaluations scientifiques spécialisées). Dans le cadre de cette analyse, Goss Gilroy Inc. a mené trois entrevues avec ces organismes.

Constatations : Pertinence et besoin continu

Besoin continu en connaissances scientifiques et en évaluations du CAC

Principes internationaux adoptés par le CAC pour la production de connaissances scientifiques

Le Royaume-Uni, la Nouvelle-Zélande et le Japon ont chacun élaboré des principes visant à renforcer les mécanismes de production de connaissances scientifiques en appui à la prise de décision fondée sur des données probantes. Ces trois pays ont indiqué que l'indépendance, l'objectivité et la transparence étaient des facteurs clés de la production efficace de connaissances scientifiquesNote de bas de page 16.

Le CAC a adopté plusieurs principes internationaux de production de connaissances scientifiques en appui à la prise de décision fondée sur des données probantes, comme l'indépendance, l'objectivité et la transparence.

Constatation : Le CAC répond à un besoin de connaissances scientifiques indépendantes, objectives et transparentes pour permettre une prise de décision fondée sur des données probantes. Le CAC a reçu un flot constant de demandes d'évaluation depuis sa fondation.

Besoin de connaissances scientifiques indépendantes, objectives et transparentes

A large body of literature has identified a global need for independent, objective, and transparent mechanisms to deliver scientific knowledge that can be used to support governments in evidence-based decision-makingNote de bas de page 12Note de bas de page 13 . Ce corpus insiste aussi sur les rôles et responsabilités des corps d'experts, comme les académies nationales, qui sont le modèle utilisé par le CAC, dans la prise de décision fondée sur des données probantes. Une analyse des évaluations du CAC, combinée à des entrevues, a révélé que le CAC fournit des évaluations publiques, indépendantes et objectives de l'état actuel des connaissances scientifiques dans une vaste gamme de sujets dans le but d'appuyer la prise de décision fondée sur des données probantes et d'instruire les Canadiens.

Besoin de connaissances scientifiques dans le processus décisionnel fédéral

La lettre de mandat de la ministre des Sciences d'ISDE souligne que le gouvernement fédéral croit que de bonnes connaissances scientifiques devraient être à la base du processus décisionnel. Elle fixe également un objectif fondamental pour la ministre, qui est de soutenir la recherche scientifique ainsi que l'intégration des considérations scientifiques dans les choix d'investissement et de politique du gouvernement fédéralNote de bas de page 14. Le budget de 2017 a souligné l'engagement du gouvernement du Canada à adopter un modèle de prise de décision fondé sur des données probantes. Il cite également le CAC, ce qui confirme encore le fait que les évaluations de ce dernier aident le gouvernement fédéral à prendre des décisionsNote de bas de page 15.

Besoin d'évaluations du CAC dans les ministères et organismes fédéraux

L'examen du nombre total de propositions d'évaluations du CAC soumises par les ministères et organismes fédéraux depuis 2005-2006 a révélé que la demande était constante dans l'ensemble du gouvernement fédéral. Plus précisément, 32 des 36 évaluations du CAC terminées, soit 89 %, ont été financées par le gouvernement du Canada. De ce total, 30 ont été financées par l'intermédiaire du processus de présentation et d'approbation d'ISDE et deux par les ministères et organismes dans le cadre d'une demande directe au CAC. La plupart des personnes interrogées ont laissé entendre que la demande d'évaluations du CAC continuera de croître, étant donné qu'il est prioritaire pour le gouvernement fédéral de disposer de connaissances scientifiques crédibles pour appuyer la prise de décision fondée sur des données probantes.

Constatations : Atteinte des résultats attendus

  • Produire des évaluations crédibles, indépendantes et fondées sur des données probantes
  • Produire des évaluations crédibles, indépendantes et fondées sur des données probantes
  • Contribuer à la discussion, au débat, à l'élaboration de politiques publiques et à la prise de décision fondée sur des données probantes

Produire des évaluations crédibles, indépendantes et fondées sur des données probantes

Experts bénévoles crédibles et indépendants

Les experts bénévoles qui siègent aux comités d'évaluation du CAC offrent une variété sur le plan du sexe, de la discipline et de l'origine géographique. De plus, d'après les enquêtes effectuées à la fin des travaux d'un comité d'experts du CACNote de bas de page 19 , 90 % des répondants acceptent l'invitation du CAC à faire partie d'un comité d'évaluation par désir de contribuer à la production de conseils scientifiques dans l'intérêt public.

Les experts bénévoles sont recrutés dans les académies, dans le grand public et dans d'autres pays. La MCE exige que chaque expert bénévole soit soumis à un processus d'examen approfondi afin de s'assurer qu'il possède non seulement l'expertise, mais aussi la capacité de rédiger un rapport objectif.

Constatation : Le CAC utilise une méthodologie globale pour s'assurer que ses évaluations sont crédibles, indépendantes et fondées sur des données probantes. Le nombre de citations des évaluations du CAC dans le monde entier témoigne aussi de sa crédibilité.

Méthodologie du cycle d'évaluation du CAC

Le CAC emploie une méthodologie d'évaluation rigoureuse pour assurer sa crédibilité. Ce processus est connu sous le nom de méthodologie du cycle d'évaluation (MCE) et comprend des exigences et des lignes directrices pour toutes les phases d'une évaluation :

  • Sélection et examen des questions d'évaluation et des experts et examinateurs indépendants;
  • Réalisation de l'évaluation;
  • Examen par les pairs et vérification antiplagiat;
  • Production et diffusion du rapportNote de bas de page 17.

Dans plusieurs entrevues, il a été mentionné que la MCE est révisée régulièrement pour s'assurer que le processus d'évaluation demeure rigoureux et crédible.

Volume de citations directes et indirectes des évaluations du CAC

La crédibilité du CAC est également démontrée par le nombre de citations de ses évaluations. L'analyse bibliométriqueNote de bas de page 18 a révélé que 31 des 36 évaluations du CAC réalisées en 2016-2017, soit 86 %, ont été citées par des auteurs du domaine scientifique correspondant à l'aide d'au moins une méthode de publication (p. ex. revue, ouvrage, brevet ou actes de conférence). Cela se traduit par plus de 500 citations directes totales d'évaluations du CAC (c.-à-d. citations de publications faisant référence à une évaluation du CAC) et plus de 4 000 citations indirectes (c.-à-d. citations de publications faisant référence à une publication qui cite une évaluation du CAC).

Citations du monde entier

Les 26 évaluations standards financées par ISDE entre 2005-2006 et 2016-2017 ont été citées par des auteurs du domaine scientifique correspondant à l'aide d'au moins une méthode de publication dans 43 pays.

Accroître sa visibilité et la connaissance qu'on a de lui

Sensibilisation des experts du CAC

Les répondants aux enquêtes effectuées à la fin des travaux d'un comité d'experts du CAC ont indiqué qu'ils avaient entendu parler du CAC en raison d'une évaluation antérieure, par leurs collègues ou le bouche-à-oreille, les médias, le site Web du CAC ou les académies. Aucun répondant n'a déclaré avoir entendu parler du CAC grâce aux activités de rayonnement du gouvernement fédéral.

Les entrevues et l'examen des résultats des enquêtes réalisées à la fin des travaux des comités d'experts ont également révélé que le CAC a la possibilité d'améliorer ses activités de visibilité et de sensibilisation.

Constatation : Bien que le CAC mène certaines activités de sensibilisation pour mettre en évidence les conclusions de ses évaluations, la diffusion de ses évaluations est limitée.

Visibilité et connaissance du CAC à l'échelle du gouvernement fédéral

Une analyse des données du programme a révélé qu'au moins 25 ministères et organismes fédéraux ont présenté au moins une demande pour une évaluation du CAC à la suite d'un appel de propositions d'ISDE depuis sa fondation, ce qui indique qu'ils connaissent le CAC. Étant donné que le niveau de connaissance a été mesuré par le nombre total de propositions présentées par les ministères et organismes fédéraux lors d'appels de propositions d'ISDE, le nombre réel de ministères et d'organismes qui connaissent le CAC pourrait être plus élevé. Les entrevues ont également révélé qu'au sein du gouvernement fédéral, le CAC est largement connu par le bouche-à-oreille parmi le personnel scientifique.

Activités de visibilité, de sensibilisation et de diffusion du CAC

D'après les entrevues et l'examen des documents du CAC, les activités de visibilité et de sensibilisation de ce dernier incluent la planification de la publication de chaque évaluation réalisée, la détermination des parties prenantes susceptibles d'être intéressées par l'évaluation et la distribution à une liste de diffusion cibléeNote de bas de page 20. Le CAC produit des vidéos, des infographies et des résumés instantanés pour communiquer les conclusions de ses évaluations. Il effectue également de la sensibilisation dans les médias et sur les réseaux sociaux, mais pas de façon uniforme d'une évaluation à l'autre, car selon les entrevues, ces activités dépendent de la disponibilité des ressources. L'examen des documents et les entrevues ont également permis de constater que le CAC a parfois été approché pour diffuser ses conclusions et engager des discussions avec des représentants du gouvernement fédéral, mais cette pratique n'est pas systématique. Il convient de noter que les produits livrables liés à la diffusion des connaissances ne sont pas une exigence de l'accord de financement de 2015 concernant les évaluations du CAC.

Recommandation : En collaboration avec le CAC, ISDE devrait élaborer une approche coordonnée pour améliorer la diffusion des évaluations du CAC

Contribuer à la discussion, au débat, à l'élaboration de politiques publiques et à la prise de décision fondée sur des données probantes

Constatation : Il est prouvé que les évaluations du CAC ont fourni aux décideurs des renseignements scientifiques indépendants. Toutefois, les résultats directs et les répercussions de ces évaluations sont difficiles à mesurer et ne font pas l'objet d'un suivi par ISDE.

Les études de cas ont révélé que les évaluations ont aidé la discussion, le débat, l'élaboration de politiques publiques et la prise de décision fondée sur des données probantes, comme l'illustrent les exemples ci-dessousNote de bas de page 21.

Les évaluations ont aidé le gouvernement fédéral dans son processus de financement et de prise de décision relative aux priorités.

État de la S-T (2006 et 2012) : L'évaluation a cerné les priorités en matière de financement de la recherche, qui ont éclairé la mise à jour de la Stratégie en matière de S-T du gouvernement fédéral en 2014. Ces priorités ont aidé les décisions d'investissement liées au Fonds d'excellence en recherche Apogée Canada, une initiative des trois organismes. L'évaluation a également été citée dans le budget de 2013 et dans le budget de 2015.

Compétences en STGM (2015) : L'évaluation a aidé à élaborer des documents d'information destinés aux hauts fonctionnaires fédéraux sur la situation actuelle des compétences en STGM au Canada. Elle a également fait avancer les discussions sur la façon de soutenir l'innovation, l'éducation et la formation au Canada. Elle a été mentionnée dans le budget de 2017 au sujet de la répartition des compétences en STGM selon le sexe, le statut d'immigrant et l'identité autochtone

Les évaluations ont contribué au processus décisionnel de l'industrie et du gouvernement provincial.

Effets sur la santé de l'utilisation des armes à impulsions (2013) : L'évaluation a aidé la prise de décision provinciale relative à l'introduction opérationnelle des armes à impulsions pour les policiers de première ligne en Ontario. À l'échelle nationale, elle a contribué à la mise à jour des lignes directrices nationales sur l'utilisation des armes à impulsions élaborées à l'origine en 2010.

Incidences environnementales de l'extraction du gaz de schiste au Canada (2013) : L'évaluation a informé le processus décisionnel provincial sur la fracturation en Nouvelle-Écosse et a aidé les comités d'examen provinciaux sur l'utilisation de la fracturation hydraulique à Terre-Neuve-et-Labrador et au Nouveau-Brunswick. Elle a également contribué à la création d'une équipe de travail fédérale chargée de discuter des questions touchant le gaz de schiste. Elle a aussi aidé l'Association canadienne des producteurs pétroliers à élaborer son registre des risques de 2015.

Les évaluations ont aidé les intervenants à combler leurs lacunes en matière d'information et de collaboration.

Culture scientifique (2014) : L'évaluation a servi à créer des trousses de cours de sciences pour les enseignants de la troisième à la septième année, accessibles sur le site Web du gouvernement fédéral. L'évaluation a fourni des données de référence, alors qu'il n'y en avait pas auparavant, et a aidé les enseignants à élaborer des programmes d'études dans les écoles.

Médecine régénérative (2016) : L'atelier a eu pour résultat direct la création en 2017 d'un organisme national, Alliance de médecine régénérative du Canada, une idée conçue par les participants à l'atelier pour combler une lacune de collaboration dans le domaine de la médecine régénérative.

Contribuer à la discussion, au débat, à l'élaboration de politiques publiques et à la prise de décision fondée sur des données probantes (2 de 2)

Défis concernant la mesure des répercussions directes des évaluations du CAC

On a constaté qu'il est difficile de mesurer ce type d'impact étant donné que le CAC ne formule pas de recommandations ou de conseils politiques qui pourraient être suivis et attribués directement à ses évaluations. En outre, l'élaboration de politiques et la prise de décision sont rarement attribuables à un seul facteur.

Même si de nombreuses personnes interrogées dans le cadre des études de cas étaient persuadées que ces évaluations fournissaient des renseignements scientifiques crédibles et indépendants, elles ont également reconnu qu'il est difficile de mesurer l'incidence directe des évaluations du CAC.

Au cours de l'analyse comparativeNote de bas de page 22, tous les répondants étrangers ont également ont mis l'accent sur les défis posés par la mesure des répercussions de leurs évaluations, car les résultats des projets sont souvent intangibles et difficiles à quantifier. Ils ont plutôt indiqué que la mesure des répercussions de leurs évaluations était davantage axée sur les données bibliométriques et les résultats des évaluations à l'intention des chercheurs.

Documenter les résultats et les répercussions des évaluations du CAC

ISDE a amélioré son modèle de présentation de propositions en 2015-2016 afin d'y inclure une description de la pertinence et des résultats et répercussions attendus de l'évaluation. Plus précisément, les ministères et organismes fédéraux sont tenus d'expliquer en quoi la proposition est pertinente pour le programme d'élaboration de politiques du gouvernement fédéral et du ministère ou organisme commanditaire, les avantages socioéconomiques attendus et la façon dont l'évaluation pourrait éclairer les priorités et les activités futures.

Toutefois, ISDE n'exige pas que les ministères et organismes fédéraux rendent compte des résultats et des répercussions des évaluations du CAC, pas plus qu'ils ne fassent le suivi des résultats et des répercussions des évaluations réalisées qu'il finance dans le cadre de ses appels de propositions (n'est pas requis aux termes de l'accord de financement de 2015). Les résultats et les répercussions des évaluations ne sont communiqués que dans le cadre d'une enquête facultative sur la satisfaction des commanditaires réalisée par le CAC un an après la fin de l'évaluation.

Recommandation : En collaboration avec le ministère ou l'organisme fédéral commanditaire, ISDE devrait renforcer son suivi des résultats et des répercussions des évaluations du CAC qu'il finance.

Constatations : Efficacité et efficience

  • Surveillance du programme par ISDE
  • Prestation du programme par le CAC
  • Gouvernance et fonctionnement du CAC

Efficience et efficacité : Surveillance du programme par ISDE (1 de 2)

Principales étapes du processus de présentation et d'approbation des propositions d'ISDE

ISDE utilise un processus de suivi de l'approbation des propositions comportant deux organes principaux : Groupe de travail des directeurs généraux (GTDG) et Comité des sous-ministres adjoints sur les sciences et la technologie (CSMA- ST).

Le GTDG rencontre le CCS du CAC pour discuter des propositions et choisir celles à soumettre au CSMA- ST. Une fois que le CSMA-ST a approuvé ces propositions, les ministres des ministères commanditaires préparent une lettre à la ministre des Sciences dans laquelle ils demandent l'approbation et la transmission de leur demande d'évaluation au CAC.

Toutefois, il n'y a pas de suivi ni de contrôle des justifications à l'appui de la prise de décision à ces deux étapes (c.-à-d. des raisons pour lesquelles une proposition a été acceptée ou rejetée).

Constatation : ISDE a établi un processus de présentation et d'approbation des propositions. Cependant, ce processus est long et imprévisible. De plus, les ministères et organismes fédéraux soumettent davantage de propositions directement au CAC pour des évaluations urgentes en utilisant leur propre financement.

Processus de présentation et d'approbation des propositions d'ISDE

ISDE a mis en place un processus de présentation et d'approbation en 12 étapes pour financer les évaluations du CAC au nom du gouvernement fédéral (voir l'annexe D). Il a élaboré à l'intention des ministères et organismes fédéraux un document d'orientationNote de bas de page 23 sur le processus de présentation et d'approbation des propositions par lequel il transmet les sujets d'évaluation au CAC. Le présent document d'orientation décrit :

  • les critères à appliquer pour déterminer si un sujet convient à une évaluation du CAC;
  • les types de produits d'évaluation que le CAC peut offrir;
  • le temps d'exécution prévu;
  • les étapes et les dates clés du processus d'élaboration, de peaufinage et de renvoi au CAC des propositions découlant des appels d'ISDE.

Le principal avantage de l'approche d'ISDE est qu'elle permet une surveillance uniforme et centralisée du programme de financement et du processus de présentation et d'approbation des propositions.

Échéanciers et durée du processus de présentation et d'approbation des propositions

Les entrevues ont révélé que le processus de présentation et d'approbation des propositions d'ISDE concernant les demandes d'évaluation du CAC est long et dure environ 12 mois. De plus, ISDE ne fait pas le suivi de l'échéancier associé à chaque proposition aux diverses étapes du processus de présentation et d'approbation. Il est donc difficile de cerner les goulots d'étranglement et d'améliorer l'efficacité du processus.

Efficience et efficacité : Surveillance du programme par ISDE (2 de 2)

Capacité permanente du CAC permise par les appels de propositions d'ISDE

D'après les entrevues, bien que le processus de présentation et d'approbation de la proposition soit long, le soutien continu d'ISDE au fil des ans a permis au CAC :

  • de développer une capacité permanente et des forces essentielles grâce au regroupement d'experts bénévoles de multiples disciplines et milieux provenant de l'ensemble de la communauté scientifique;
  • d'acquérir de la crédibilité dans la sphère publique et à l'échelle internationale grâce à ses évaluations.

Prévisibilité des appels de propositions et urgence des évaluations

 L'examen des documents du CACNote de bas de page 24 et les entrevues ont confirmé que depuis 2016-2017, au moins huit ministères et organismes fédéraux ont exprimé au CAC leur désir de lui soumettre une demande d'évaluation directement, soit une hausse importante par rapport à la période de dix ans précédente (de 2005-2006 à 2015-2016), durant laquelle seulement deux ministères fédéraux avaient financé leurs propres évaluations. De plus, ISDE n'a pas lancé d'appel de propositions depuis 2015-2016, étant donné que le CAC a déjà atteint son objectif de 18 à 20 évaluations financées par ISDE fixé dans l'accord de financement 2015Note de bas de page 25.

Outre l'absence d'appel de propositions, les entrevues ont confirmé que les raisons pour lesquelles les demandes sont présentées directement au CAC comprennent l'urgence d'une évaluation ainsi que la durée et la certitude du processus d'approbation et de planification. Lorsqu'ils ont besoin immédiatement d'une évaluation du CAC, les ministères fédéraux doivent avoir la certitude que leur sujet sera approuvé. Ils interagissent alors directement avec le CAC pour préciser la question et la portée et planifier l'évaluation. Les entrevues ont également permis de constater que le processus d'approbation des demandes d'évaluation présentées directement au CAC est moins onéreux, et la planification et l'approbation ne nécessitent que quelques mois. Elles ont aussi révélé que la certitude du sujet permet au CAC de prendre des mesures immédiates en ce qui concerne les besoins en ressources et la planification opérationnelle. Ces entrevues ont mis l'accent sur le besoin de souplesse dans le processus pour les demandes d'évaluation urgentes.

Recommandations:

ISDE devrait revoir son processus de présentation et d'approbation afin de le simplifier et de mieux répondre aux échéances et aux besoins du gouvernement fédéral en matière de connaissances scientifiques. À l'avenir, il faudrait envisager un processus qui améliore la prévisibilité tant pour le CAC que pour le gouvernement fédéral.

ISDE devrait élaborer des normes de service pour les principales étapes du processus de présentation et d'approbation des propositions.

Efficience et efficacité : Prestation du programme par le CAC (1 de 2)

Constatation : Le recours à des experts bénévoles par le CAC contribue à réduire le coût de ses évaluations. Les coûts d'évaluation et d'administration correspondent aux attentes, et l'organisme a amélioré l'obtention de financement auprès d'autres sources ces dernières années. Les temps d'exécution des évaluations sont largement conformes aux objectifs.

Pour évaluer l'efficience et l'efficacité de la prestation du programme, l'analyse a porté sur les éléments suivants :
  • L'affectation des dépenses;
  • L'obtention de financement auprès d'autres sources;
  • Le recours à des experts bénévoles pour effectuer les évaluations; et
  • La rapidité des évaluations.

Répartition des dépenses

L'analyse des données financières du CAC a révélé que les dépenses totales de l'organisme de 2005-2006 à 2016-2017 se sont élevées à 46,5 M$, avec une moyenne annuelle de 3,9 M$Note de bas de page 26. Environ 66 % (30,6 M$) de ces dépenses ont été consacrées à la réalisation, à la production et à la diffusion des évaluations. Ces chiffres sont conformes à l'accord de financement qui stipule qu'au moins 64 % du financement d'ISDE devrait être consacré directement aux activités liées aux évaluationsNote de bas de page 27. Les dépenses indirectes, comme les frais indirects et l'administration, ont accaparé les 34 % restants (16,0 M$), ce qui respecte également l'accord de financementNote de bas de page 28.

Recours à des experts bénévoles pour effectuer les évaluations

CAC compte sur des experts bénévoles pour son travail d'évaluation, ce qui est conforme aux pratiques en vigueur dans des organismes

internationaux semblables. L'analyse des données sur les bénévoles du CAC a révélé que chaque évaluation compte en moyenne 13 experts et 11 examinateurs. Le CAC a estimé que le temps moyen que chaque expert consacre à une évaluation est de 24 jours, tandis que chaque examinateur passe 2,5 jours. Il a également évalué que la rémunération d'un expert bénévole serait de 1 200 $ par jour. Selon ces estimations, la contribution moyenne des bénévoles équivaut à 407 400 $ par évaluationNote de bas de page 29.

Ainsi, le recours à des experts bénévoles aide à réduire le coût des évaluations du CAC. Le coût moyen d'une évaluation standard financée par ISDE calculé étant de 1,43 M$; il serait d'environ 1,8 M$ en l'absence d'experts bénévolesNote de bas de page 30.

Obtention de financement auprès d'autres sources

Depuis sa fondation, le CAC a été encouragé à attirer des fonds d'autres sources pour entreprendre des évaluations additionnelles selon le principe du recouvrement des coûtsNote de bas de page 31. Au cours des dix dernières années (de 2005-2006 à 2014-2015), ce financement autre a représenté jusqu'à 5,8 % (2,2 M$). Toutefois, de 2015-2016 à 2016-2017, elles représentaient 19,1 % (1,4 M$), soit une hausse importante qui pourrait s'expliquer en partie par l'absence d'appels de propositions ces dernières années et par le besoin d'évaluations urgentes et rapides.

Efficience et efficacité : Prestation du programme par le CAC (2 de 2)

Temps d'exécution des évaluations du CAC

Type d'évaluation Temps d'exécution moyen (mois) Temps d'exécution cible (mois)
Standard 27 18-24
Simplifiée 18 12-18
Atelier 6 Jusqu'à 6

Dans l'ensemble, les temps d'exécution des évaluations du CAC financées par ISDE sont en grande partie conformes aux objectifs. Pour les évaluations standards, ils sont en moyenne de 27 mois, soit un peu plus que l'objectif de 24 mois. Dans le cas des évaluations simplifiées et des ateliers, le temps d'exécution moyen correspond au temps fixé, soit 12 à 18 mois et 6 mois, respectivement.

Comme le montre la figure 1, le temps moyen nécessaire pour effectuer une évaluation standard financée par ISDE varie d'un minimum de 19 mois à un maximum de 34 moisNote de bas de page 32. selon la complexité et la portée de l'évaluation. L'examen des évaluations et les entrevues ont révélé que les temps d'exécution varient en fonction de la complexité du sujet et de la portée. Les facteurs déterminant la durée de l'évaluation sont l'établissement d'un consensus parmi les experts multidisciplinaires ainsi que l'examen et la prise en compte de tous les commentaires formulés par les examinateurs à l'intention du comité d'experts. Comme le CAC a accru la rigueur de sa méthodologie d'évaluation au fil du temps, il lui faut désormais plus de temps, en moyenne, pour réaliser une évaluation standard financée par ISDE sur des sujets et des domaines complexes. Toutefois, certains facteurs qui influent sur le temps d'exécution échappent au contrôle du CAC (p. ex. retard dans la finalisation des demandes d'évaluation).

Figure 1 : Temps d'exécution moyen d'une évaluation standard financée par ISDE

Description du graphique 1

Le graphique 1 est un diagramme à bandes présentant le nombre moyen de mois requis par le CAC pour réaliser une évaluation, par année financière. Le délai moyen en mois est représenté par l'axe Y, alors que l'année financière au cours de laquelle l'évaluation a été réalisée est représentée sur l'axe X. Le diagramme à bande couvre la période de 2006-2007 à 2013-2014. La tendance démontre que le délai moyen de réalisation d'une évaluation fluctue d'une année financière à l'autre. Entre 2006-2007 et 2013-2014, le délai moyen était de 27 mois.

Le tableau ci-dessous présente les données du diagramme à bandes :

Année financière Délai moyen de réalisation (en mois)
2006-2007 19
2007-2008 23
2008-2009 31
2009-2010 26
2010-2011 27
2011-2012 34
2012-2013 29
2013-2014 21

Efficience et efficacité : Gouvernance et fonctionnement du CAC

Trois académies fondatrices du CAC

  • Société royale du Canada
  • Académie canadienne du génie
  • Académie canadienne des sciences de la santé

Constatation : Le CAC a amélioré sa gouvernance et son fonctionnement au cours des dernières années, ce qui a contribué à des gains d'efficience et d'efficacité dans la production des évaluations.

Le rôle des académies dans la gouvernance du CAC

L'efficacité et l'efficience des relations de travail entre le CAC et les académies sont essentielles à la production des évaluations. Au cours des dernières années, le CAC a amélioré sa gouvernance en veillant à ce que pour chaque académie, le président soit l'un des deux administrateurs nommés. Les entrevues ont permis de confirmer que cette mesure a amélioré le dialogue entre les administrateurs et simplifié la communication interne dans les rapports avec les académies.

En 2016-2017, un accord de collaboration a été conclu entre le CAC et les académies afin d'améliorer davantage l'efficience et l'efficacité de la gouvernance du CACNote de bas de page 33 . L'accord clarifie et officialise les rôles et les responsabilités des académies et établit les modalités de la collaboration. Il sert également de mécanisme de reconnaissance des services des académies et à les rémunérer pour les dépenses documentées touchant les activités admissibles aux termes de l'accord de financement de 2015Note de bas de page 34. Les activités admissibles sont celles directement liées à l'aide aux évaluations et à l'exécution et à la production des évaluations sur les sujets transmis par la ministre des Sciences. L'analyse comparative a révélé que les académies nationales d'autres pays jouent un rôle semblable dans la gouvernance de l'organisme similaire au CAC.

Contrôle horizontal des évaluations du CAC et des comités d'experts bénévoles

Le CAC a récemment modifié sa structure organisationnelle afin d'améliorer l'efficience et l'efficacité de son fonctionnement. Il a créé un poste de directeur des évaluations en 2016- 2017 pour permettre un contrôle uniforme et horizontal de toutes les évaluations en cours. Le titulaire est responsable de l'affectation des ressources et de la coordination des évaluations, du suivi des normes de qualité et de la rédaction des rapports. Les entrevues ont confirmé que la dotation de ce poste a contribué à une meilleure gestion des ressources et a amélioré la qualité des évaluations.

Il ressort également de l'examen documentaireNote de bas de page 35 et des entrevues que le CAC a récemment amélioré le processus de sélection de ses comités d'experts bénévoles pour s'assurer qu'il continue de produire des évaluations de grande qualité. Le processus d'approbation des présidents de comité a été révisé de façon à inclure un examen des profils de recherche et de réseaux sociaux pour faire en sorte que les présidents possèdent non seulement l'expertise et les capacités éprouvées, mais aussi la capacité de rédiger un rapport objectif. Le CAC a aussi récemment ajouté des coprésidents, ce qui s'est révélé une démarche efficace et efficiente lorsqu'un sujet comporte deux positions bien établies ou que la disponibilité du président est limitée.

Amélioration des relations avec les trois académies fondatrices

Les entrevues ont permis de constater que la relation avec les académies s'est améliorée au cours des deux dernières années et qu'elle a été renforcée par l'accord de collaboration.

Conclusions

Dans l'ensemble, le CAC demeure pertinent et a atteint les résultats attendus. Le modèle de prestation du programme ainsi que la gouvernance et le fonctionnement du CAC sont efficaces et efficients. Toutefois, il est possible d'améliorer la diffusion des évaluations ainsi que l'efficience et l'efficacité de la surveillance de l'organisme par ISDE.

Pertinence : Le CAC répond à un besoin de connaissances scientifiques indépendantes, objectives et transparentes pour permettre une prise de décision fondée sur des données probantes. Il reçoit un flot continu de demandes d'évaluation depuis sa création.

Atteinte des résultats attendus Le CAC utilise une méthodologie de mesure globale pour s'assurer que ses évaluations sont crédibles, indépendantes et fondées sur des données probantes. Le nombre de citations des évaluations du CAC dans le monde entier témoigne aussi de sa crédibilité. Même si le CAC mène des activités de sensibilisation pour mettre en valeur les conclusions de ses évaluations, la diffusion de ses évaluations est limitée. Il est prouvé que les évaluations du CAC ont fourni aux décideurs des renseignements scientifiques indépendants. Toutefois, les résultats et les répercussions de ces évaluations sont difficiles à mesurer et ne sont pas suivis par ISDE.

Efficience et efficacité de la surveillance du programme par ISDE : ISDE a établi un processus de présentation et d'approbation des propositions. Cependant, ce processus est long et imprévisible. De plus, les ministères et organismes fédéraux soumettent davantage de propositions directement au CAC pour des évaluations urgentes en utilisant leur propre financement.

Efficience et efficacité de la prestation du programme par le CAC : Le recours du CAC à des experts bénévoles contribue à réduire le coût des évaluations. Les coûts d'évaluation et d'administration correspondent aux attentes, et l'organisme a amélioré l'exploitation du financement provenant d'autres sources ces dernières années. Les temps d'exécution des évaluations sont largement conformes aux objectifs.

Efficience et efficacité de la gouvernance et du fonctionnement du CAC : Le CAC a amélioré sa gouvernance et son fonctionnement au cours des dernières années, ce qui a contribué à des gains d'efficience et d'efficacité dans la production des évaluations.

Recommandations

Les conclusions de cet exercice permettent de dégager certaines recommandations.

Ces recommandations sont les suivantes :

  1. En collaboration avec le CAC, ISDE devrait élaborer une approche coordonnée pour améliorer la diffusion des évaluations du CAC.
  2. En collaboration avec le ministère ou l'organisme fédéral commanditaire, ISDE devrait renforcer le suivi des résultats et des répercussions des évaluations du CAC qu'il finance.
  3. ISDE devrait revoir son processus de présentation et d'approbation afin de le simplifier et de mieux répondre aux échéances et aux besoins du gouvernement fédéral en matière de connaissances scientifiques. À l'avenir, il faudrait envisager un processus qui améliore la prévisibilité tant pour le CAC que pour le gouvernement fédéral.
  4. ISDE devrait élaborer des normes de service pour les principales étapes du processus de présentation et d'approbation des propositions.

Annexes

  • Annexe A : Évaluations de 2005-2006 à 2016- 2017
  • Annexe B : Modèle logique du programme
  • Annexe C : Limites des données
  • Annexe D : Processus de présentation et d'approbation des propositions d'ISDE

Annexe A: Évaluations de 2005-2006 à 2016-2017 (1 de 2)

Assessments Funded by ISED
Évaluations financées par ISDE Année financière d'achèvement
1. L'état de la science et de la technologie au Canada, 2006 2006-2007
2. La transmission du virus de la grippe et la contribution de l'équipement de protection respiratoire individuelle 2007-2008
3. La production d'énergie à partir des hydrates de gaz 2008-2009
4. Petit et différent : perspective scientifique sur les défis réglementaires du monde nanométrique 2008-2009
5. La gestion durable des eaux souterraines au Canada 2009-2010
6. Meilleure recherche pour de meilleures affaires 2009-2010
7. Innovation et stratégies d'entreprise : pourquoi le Canada n'est pas à la hauteur 2009-2010
8. Honnêteté, responsabilité et confiance : Promouvoir l'intégrité en recherche au Canada 2010-2011
9. La taxonomie canadienne : explorer la biodiversité, créer des opportunités 2010-2011
10. Des animaux en santé, un Canada en santé 2011-2012
11. Nouvelles technologies et évaluation de la sécurité chimique 2011-2012
12. Éclairer les choix en matière de recherche : Indicateurs et décisions 2012-2013
13. L'état de la science et de la technologie au Canada, 2012 2012-2013
14. Renforcer la capacité de recherche du Canada : La dimension de genre 2012-2013
15. L'eau et l'agriculture au Canada : vers une gestion durable des ressources en eau 2012-2013
16. L'état de la R-D industrielle au Canada 2013-2014
17. La sécurité alimentaire des populations autochtones dans le Nord du Canada 2013-2014
18. Incidences environnementales liées à l'extraction du gaz de schiste au Canada 2014-2015
19. Promouvoir la durabilité dans un monde interconnecté 2014-2015
20. Améliorer les médicaments pour enfants au Canada 2014-2015
21. Prix de l'énergie et prise de décision dans les entreprises au Canada : Paver la voie à un avenir énergétique 2014-2015
22. À la fine pointe du monde numérique : possibilités pour les institutions de la mémoire collective au Canada 2014-2015
23. Culture scientifique : qu'en est-il au Canada? 2014-2015
24. Le maintien de l'ordre au Canada au XXIe siècle : Une nouvelle police pour de nouveaux défis 2014-2015
25. L'accès aux données sur la santé et aux données connexes au Canada 2014-2015
26. Assemblage requis : Compétences en STGM et productivité économique du Canada 2015-2016
27. Solutions technologiques pour réduire l'empreinte écologique de l'exploitation des sables bitumineux au Canada 2015-2016
28. Communication des risques pour les produits de santé : Le message passe-t-il? 2015-2016
29. Compréhension des données : Bruit des éoliennes 2015-2016
30. Mettre à profit les forces du Canada en médecine régénérative 2016-2017
Évaluations financées par d'autres ministères ou organismes
Évaluations financées par d'autres ministères ou organismes Année financière d'achèvement
31. Vision pour l'Initiative canadienne de recherche dans l'Arctique 2008-2009
32. Effets sur la santé de l'utilisation des armes à impulsions 2013-2014
Évaluations financées par les gouvernements provinciaux, l'industrie ou une ONG
Évaluations financées par les gouvernements provinciaux, l'industrie ou une ONG Année financière d'achèvement
33. Incidences de l'innovation : mesure et évaluation 2013-2014
34. Les sciences de la mer au Canada : Relever le défi, saisir l'opportunité 2013-2014
35. Solutions technologiques et politiques pour un système énergétique à faibles émissions au Canada 2015-2016
36. Accidents dans le transport maritime commercial : Cerner les risques au Canada 2016-2017

Annexe B : Modèle logique du programme

Figure 3: Modèle logique du programme

Description du graphique 2

Le graphique 3 représente un modèle logique pour le CAC. Ce modèle logique illustre les liens entre les intrants, les activités, les extrants et les différents niveaux de résultats.

Le modèle logique compte six intrants :

  1. les experts bénévoles,
  2. les professionnels,
  3. le financement fédéral,
  4. les appels de propositions,
  5. les universités, et
  6. d'autres financements.

Ces intrants servent à produire trois types d'activités :

  1. Les évaluations, ce qui comprend : l'établissement préliminaire de la portée de l'évaluation, la constitution du groupe d'experts et la désignation du président, les réunions du groupe d'experts et le soutien logistique, la recherche et le développement de contenu, l'examen par les pairs, la transmission d'information au promoteur du projet et la définition des incidences.
  2. Les communications, ce qui comprend : les activités de diffusion et de dissémination, les communiqués de presse, les présentations de conférence, les bulletins d'information du CAC, la présence en ligne et les plans de sensibilisation.
  3. La collaboration, ce qui comprend : l'échange de connaissances scientifiques avec des académies nationales du monde entier.

Ces activités de programmes ont généré deux extrants :

  1. des rapports d'évaluations réalisées par des experts, et
  2. des produits de communications propres aux évaluations.

Deux résultats immédiats ont découlé de ces extrants :

  1. des connaissances scientifiques crédibles, indépendantes et factuelles, et
  2. une visibilité et une sensibilisation aux travaux du CAC.

Ces résultats immédiats mènent au résultat intermédiaire « Discussion éclairée, débat et élaboration d'une politique publique », lequel mène au résultat final « Résultats scientifiques à l'appui de décisions fondées sur des données probantes ».

Annexe C : Limites des données

Disponibilité des données : Le temps d'exécution cible d'une évaluation standard du CAC est de 24 mois, et le CAC effectue une enquête facultative sur la satisfaction des commanditaires 12 mois après la publication d'une évaluation afin de recueillir des données sur les répercussions de cette dernière. Ces répercussions sont souvent difficiles à mesurer ou ne sont observées que plusieurs années après la publication. Pour ce qui est des études de cas, durant cette période, les ministères et organismes commanditaires ont connu un roulement de personnel et des départs à la retraite, particulièrement chez ceux qui avaient participé à l'origine aux propositions d'évaluation. Par conséquent, la liste des personnes-ressources potentielles à interviewer pour les études de cas était limitée.

Partis pris possibles dans les données d'entrevue : Les participants aux entrevues qui possèdent la connaissance la plus vaste du CAC et de son fonctionnement sont les membres actifs ou les anciens membres du conseil des gouverneurs ou du comité consultatif scientifique du CAC. Leurs opinions et leurs points de vue peuvent être légèrement biaisés en raison de leur participation à la structure de gouvernance de l'organisme, mais cette limitation a été atténuée par la triangulation des constatations tirées d'autres sources.

Force de l'analyse comparative internationale : Divers facteurs ont limité l'analyse comparative avec des organismes internationaux. Premièrement, il n'existe pas d'organisme entièrement comparable au CAC en ce qui concerne les objectifs, le modèle de financement, le fonctionnement, la structure de gouvernance et la taille. Deuxièmement, les données nécessaires pour comparer le coût par évaluation et les frais indirects entre les organismes internationaux sélectionnés et le CAC étaient insuffisantes ou inaccessibles.

Annexe D : Processus de présentation et d'approbation des propositions d'ISDE

Processus de présentation et d'approbation des propositions

Description du Processus de présentation et d'approbation des propositions
  1. ISDE lance un appel de propositions.
  2. Les ministères et les organismes soumettent un projet sommaire pour chaque sujet d'évaluation proposé.
  3. ISDE évalue les propositions en fonction de critères de sélections et détermine les sujets d'évaluations admissibles.
  4. Les promoteurs préparent et soumettent des avant-projets exhaustifs pour les sujets d'évaluation jugés admissibles par ISDE.
  5. ISDE commente les avant-projets, puis les promoteurs présentent une version révisée de leur avant-projet.
  6. ISDE soumet ces versions révisées au Comité consultatif scientifique (CCS) du CAC.
  7. Le groupe de travail du directeur général (DG), le CCS du CAC et les promoteurs se rencontrent pour discuter des avant-projets, ainsi que pour répondre aux questions et traiter les commentaires les concernant.
  8. La version finale des projets et les lettres d'appui du sous-ministre adjoint (SMA) sont soumises à ISDE pour un deuxième examen.
  9. Le CCS du CAC et le groupe de travail du DG sélectionnent les projets qu'ils soumettront à l'approbation du Comité des sciences et de la technologie (CST) du SMA.
  10. Dès l'approbation du CST du SMA obtenue, les ministres parrains préparent les lettres destinées au ministre des Sciences et demandent le renvoi des sujets proposés au CAC.
  11. Le ministre des Sciences sélectionne les propositions, et demande la réalisation des évaluations par le CAC au nom du gouvernement du Canada.
  12. Le CAC entreprend les évaluations proposées.

Notes de fin de document

Réponse de la direction et plan d'action

A – Aux fins d'inclusion dans le rapport

Les conclusions et les recommandations du rapport d'évaluation du Conseil des académies canadiennes (CAC) ont été présentées à la direction du programme. La direction a approuvé les conclusions du rapport et prendra des mesures pour donner suite à toutes les recommandations applicables d'ici le 31 mai 2019.

B – Aux fins de suivi – Mesures détaillées visant à donner suite aux recommandations du rapport

Recommandation Mesure prévue pour donner suite à la recommandation Fonctionnaire responsable (poste) Date d'achèvement visée

Recommandation 1

Élaborer, en consultation avec le CAC, une approche coordonnée afin d'améliorer la diffusion des évaluations du CAC.

Acceptée.

Le SSR collaborera avec le CAC afin d'élaborer et de mettre en œuvre une approche coordonnée visant à améliorer la diffusion des évaluations au sein du gouvernement fédéral.
L'approche pourrait comprendre ce qui suit :

  • demander au Comité des SMA sur les sciences et la technologie de favoriser la diffusion des conclusions de l'évaluation;
  • exiger au moyen d'une nouvelle entente de financement que le CAC donne des présentations sur toutes les évaluations aux ministères parrains.
DG, Programmes scientifiques et partenariats, SSR Le 31 mars 2019

Recommandation 2

Renforcer, en collaboration avec le ministère/l'organisme fédéral parrain, le suivi des résultats et des répercussions des évaluations du CAC financées par ISDE.

Acceptée.

ISDE demandera aux ministères/organismes fédéraux de présenter des comptes rendus sur l'incidence et l'utilisation des évaluations du CAC qui sont financées par l'entremise de ses appels de propositions afin d'orienter la prise de décisions par le gouvernement, et ce, possiblement par l'intermédiaire du Comité des SMA sur les sciences et la technologie. Étant donné qu'un laps de temps peut s'écouler entre la présentation de données probantes et l'incidence de celles-ci sur les politiques publiques, cette mesure vise à permettre au CAC de recueillir considérablement plus de renseignements au moyen des sondages menés chaque année auprès des parrains.  

Le CAC devra continuer de rendre compte de la bibliométrie relative aux rapports d'évaluation et des résultats des évaluations pour les chercheurs.
DG, Programmes scientifiques et partenariats, SSR et le CAC Le 31 mars 2019

Recommandation 3

Examiner son processus de présentation et d'approbation afin de le simplifier, de mieux respecter les échéances et de mieux répondre aux besoins en matière de connaissances scientifiques du gouvernement fédéral. À l'avenir, il faudrait envisager un processus qui pourrait permettre d'accroître la prévisibilité pour le CAC et le gouvernement fédéral.

Acceptée.

Non seulement le nouveau processus requis doit être simplifié, mais il doit aussi mieux harmoniser les ressources disponibles pour appuyer les évaluations du CAC et la demande des ministères fédéraux à l'égard de ces évaluations. La demande peut être gérée grâce à la prise de mesures visant à s'assurer que les sujets d'évaluation examinés tiennent compte des priorités du gouvernement. En ce qui a trait à la disponibilité des ressources dans le but d'accroître la capacité du CAC, différentes options permettant de produire des revenus pourraient être envisagées, notamment demander aux ministères de payer une partie des coûts même dans le cas des évaluations que l'entente de contribution d'ISDE appuie.

  • Le SSR collaborera avec le CAC et d'autres organismes du gouvernement fédéral, au besoin, afin de remanier le processus d'élaboration et d'approbation des propositions d'évaluation en le normalisant, si possible, tout en envisageant d'y inclure de nouvelles exigences dans le but de mettre l'accent sur les évaluations qui sont hautement prioritaires et/ou cofinancées par des ministères fédéraux. 
DG, Programmes scientifiques et partenariats Le 31 mai 2019

Recommandation 4

Élaborer des normes de service pour les principales étapes du processus de présentation et d'approbation des propositions.

Acceptée.

Le SSR collaborera avec le SGI et le CAC afin d'élaborer des normes de service à inclure dans le processus de présentation et d'approbation des propositions en ce qui concerne les principales étapes.
DG, Programmes scientifiques et partenariats Le 31 mai 2019