Évaluation de CANARIE

De : Innovation, Sciences et Développement économique Canada

Direction générale de la vérification et de l'évaluation

Mars 2019

Présenté au Comité de la mesure du rendement et de l'évaluation le 20 mars 2019.

Évaluation de CANARIE [PDF - 819 ko]

Table des matières

1. Sommaire
2. Introduction
   1. 1.1 Contexte
   2. 1.2 Ressources du programme
   3. 1.3 Population cible et intervenants
   4. 1.4 Modèle logique
3. Méthodologie
   1. 2.1 Objectifs, portée et approche de l'évaluation
   2. 2.2 Enjeux et questions de l'évaluation
   3. 2.3 Méthodes de collecte de données
   4. 2.4 Limites et stratégies d'atténuation
4. Constats
   1. 3.1 Pertinence
   2. 3.2 Rendement
   3. 3.3 Efficience et économie
5. Conclusions et recommandations
   1. 4.1 Conclusions
   2. 4.2 Recommandations

Liste des abréviations et acronymes

ATIR

Accélérateur technologique pour l'innovation et la recherche

FCI

Fondation canadienne pour l'innovation

IRN

Infrastructure de recherche numérique

ISDE

Innovation, Sciences et Développement économique

OCDE

Organisation de coopération et de développement économiques

R&E

Recherche et éducation

TIC

Technologie de l'information et des communications

Liste des figures

• Figure 1 : Intervenants principaux dans le secteur canadien de l'IRN
• Figure 2 : Modèle logique de CANARIE

Liste des tableaux

• Tableau 1 : Financement de CANARIE par l'ISDE de 2015-2016 à 2019-2020
• Tableau 2 : Secteurs et programmes relevant de CANARIE

Sommaire

Aperçu du programme

CANARIE se veut un organisme à but non lucratif créé en 1993 en appui à la recherche, à la découverte et à l'innovation au Canada grâce aux réseaux à haute vitesse avancés qui permettent aux chercheurs d'administrer et d'échanger un fort volume de données. Il s'agit d'un acteur clé dans le secteur de l'infrastructure de recherche numérique (IRN) au Canada.

Le financement de CANARIE provenant d'ISDE a été renouvelé dans le budget de 2015 pour un total de 105 millions $ sur une période de cinq ans. Il est utilisé pour appuyer la prestation du réseau et des autres programmes de CANARIE : 1) le Réseau national de recherche et d'éducation, 2) la Fédération canadienne d'accès, 3) les logiciels de recherche, 4) la gestion des données de recherche, et 5) l'Accélérateur technologique pour l'innovation et la recherche. Le financement est aussi utilisé pour appuyer Données de recherche Canada qui fonctionne comme un organisme distinct avec sa propre structure de gouvernance.

Objectifs, portée et approche de l'évaluation

Les objectifs de cette évaluation sont d'étudier CANARIE conformément à la Loi sur la gestion des finances publiques et à la Politique sur les résultats du Conseil du Trésor afin d'aviser quant au renouvellement du financement. L'évaluation a étudié la pertinence, le rendement, ainsi que l'efficience et l'économie de la contribution d'ISDE à CANARIE. Elle a été menée par la Direction générale de la vérification et de l'évaluation d'ISDE et portait sur la période allant du 1er avril 2014 au 31 mars 2018.

Constatations

Il y a un besoin tangible à ce que le gouvernement fédéral continue d'appuyer CANARIE dans la prestation de son service principal, soit un réseau national à haute vitesse qui facilite le partage de données, ainsi que dans la collaboration au sein de la communauté en recherche et en éducation (R&E), essentielle à la recherche et à l'innovation.

CANARIE s'est avéré efficace dans le développement de l'accès et de l'utilisation d'un réseau en R&E de classe mondiale d'un bout à l'autre du Canada, en facilitant entre autres la création de connaissances et la collaboration par l'entremise du programme de logiciels de recherche. CANARIE a aussi aidé à faciliter le développement de produits et de services en technologie de l'information et des communications (TIC) par l'intermédiaire du programme d'Accélérateur technologique pour l'innovation et la recherche (ATIR). Il y a toutefois peu de preuves quant à l'apport de CANARIE au sujet de l'aide à l'accélération de la commercialisation des TIC au Canada.

CANARIE a fourni de façon efficiente la prestation d'un réseau utilisant un modèle fédéré impliquant des partenaires provinciaux et territoriaux avec pour résultats des économies de coûts, de la coopération et de la coordination.

La structure de gouvernance de CANARIE est claire et efficace pour son service principal, soit la prestation d'un réseau national. Toutefois, en ce qui a trait à la gestion de données en recherche, le rôle de l'instance dirigeante de CANARIE n'est pas clair.

Recommandations

Les constatations de l'évaluation ont mené aux recommandations décrites ci-dessous.

Recommandation 1 : Clarté du mandat

ISDE devrait considérer la révision des activités admissibles de CANARIE, principalement celles en lien avec les logiciels de recherche, la gestion de données de recherche et l'ATIR afin de s'assurer que leurs objectifs soient clairs et uniques comparativement à d'autres organismes dans le but de simplifier l'environnement de l'IRN pour la communauté en R&E.

Recommandation 2 : Mesure de l'impact

Il faudrait prendre en considération la révision des résultats attendus dans le but de s'assurer que les programmes de CANARIE soient conformes à ses objectifs. ISDE devrait réviser le modèle logique de CANARIE afin de déterminer si des indicateurs additionnels et une stratégie de données connexe devraient être mis en place afin de surveiller l'impact de CANARIE sur la commercialisation de produits et services dans le secteur de la technologie de l'information et des communications.

1.0 Introduction

Ce rapport présente les résultats d'une évaluation de la contribution d'Innovation, Sciences et Développement économique Canada (ISDE) à CANARIE. L'évaluation a étudié la pertinence, le rendement, ainsi que l'efficience et l'économie de la contribution du programme CANARIE.

1.1 Contexte

Description du programme

ISDE finance le fonctionnement de CANARIE depuis la fondation de l'organisme en 1993^{Note de bas de page 1}. Depuis 2018, le financement est utilisé pour soutenir le réseau de CANARIE et cinq programmes répartis dans trois secteurs qui fournissent des avantages à la communauté de recherche scientifique, au secteur privé, aux établissements d'enseignement supérieur et aux Canadiens.

Exploitation des réseaux

Réseau national de recherche et d'éducation :

Fournit des connexions interprovinciales et internationales par l'entremise d'un réseau fédérateur national constitué de douze réseaux régionaux avancés, soit dix de provinces et deux de territoires, afin de connecter les Canadiens à des données, des outils et des occasions de collaboration, tant à l'échelle nationale qu'internationale. CANARIE appuie aussi des initiatives en cybersécurité en travaillant avec des partenaires afin de renforcer le niveau de sécurité du réseau.

Fédération canadienne d'accès :

Offre des solutions en gestion d'identité et d'accès aux établissements en recherche et en éducation canadiens en fournissant aux utilisateurs une connectivité Wi-Fi et un accès à des contenus en utilisant leurs identifiants de connexion de leur établissement respectif.

Innovation technologique

Programme de logiciels de recherche :

Appuie et promeut le développement d'outils logiciels qui simplifient l'accès des chercheurs aux mégadonnées^{Note de bas de page 2} et à l'infrastructure numérique, dont l'informatique de haute performance et les ressources d'archivage, afin d'accélérer les découvertes.

Programme de gestion des données de recherche :

Répond à un besoin identifié par la communauté de financer le développement de composantes et d'outils logiciels afin de permettre aux chercheurs canadiens d'adopter les meilleures pratiques en gestion de données de recherche. Le Conseil de CANARIE a approuvé ce programme en octobre 2017.

Innovations du secteur privé

Programme d'Accélérateur technologique pour l'innovation et la recherche (ATIR) :

Appuie la technologie infonuagique en fournissant aux petites entreprises et aux entrepreneurs canadiens un accès gratuit à des technologies infonuagiques et des ressources d'archivage qui aident à accélérer la mise en marché en permettant une conception de produits, un prototypage, une validation et une démonstration rapides et flexibles. L'ATIR ne fournit pas d'aide au financement. CANARIE contribue aussi à l'écosystème travaillant à l'accélération de la croissance du secteur des technologies de l'information et des communications (TIC) du Canada en appuyant les initiatives de bancs d'essai actuelles et émergentes.

Par l'intermédiaire de CANARIE, le financement d'ISDE appuie aussi les activités de Données de recherche Canada qui fonctionne comme un organisme distinct avec sa propre structure de gouvernance.

Acteurs clés dans l'infrastructure de recherche numérique au canada

L'infrastructure de recherche numérique (IRN) se veut l'ensemble des connexions, de l'alimentation informatique, des logiciels en recherche et des services d'archivage nécessaires pour soutenir une recherche de données à fort volume et exigeante pour les systèmes informatiques. CANARIE, la Fondation canadienne pour l'innovation (FCI) et Calcul Canada sont parmi les acteurs principaux du système d'IRN du Canada. Les principaux services de CANARIE dans le système d'IRN se veulent d'assurer le fonctionnement d'un réseau fédérateur national à très haute vitesse et de travailler en étroite collaboration avec les partenaires provinciaux et territoriaux du réseau afin de permettre la recherche de données à fort volume.

1.2 Ressources du programme

Depuis 1993, le gouvernement du Canada a investi un total de 634,5 millions $ pour appuyer le projet CANARIE par l'intermédiaire de plusieurs contributions et subventions s'échelonnant sur une période de trois à cinq ans. Plus récemment, le financement de CANARIE a été renouvelé dans le budget de 2016 pour un total de 105 millions $ sur une période de cinq ans. Le tableau 1 donne une répartition détaillée du financement alloué par ISDE à chaque exercice financier^{Note de bas de page 3}.

Tableau 1 : Financement de CANARIE par ISDE de 2015-2016 à 2019-2020

Les programmes de CANARIE, divisés en trois secteurs, ainsi que son administration, reçoivent du financement d'ISDE. La portion de la contribution totale allouée à chaque secteur et à l'administration est présentée dans le Tableau 2.

Tableau 2 : Secteurs et programmes relevant de CANARIE

Les coûts d'exploitation d'ISDE en lien avec la surveillance de CANARIE sont d'environ 60 000 $ par année.

1.3 Population cible et intervenants

La population cible principale de CANARIE se veut la communauté en R&E du Canada, dont les chercheurs et scientifiques travaillant dans les universités, collèges, hôpitaux et établissements de recherche à but non lucratif.

CANARIE compte aussi plusieurs intervenants, dont d'autres acteurs qui participent, aux côtés de CANARIE, au portrait de l'IRN du Canada ou des bénéficiaires directs et indirects. Ces intervenants principaux sont présentés dans la Figure 1 ci-dessous.

Figure 1 : Intervenants principaux en IRN au Canada^{Note de bas de page 4}

1.4 Modèle logique

Le modèle logique de la Figure 2 dépeint les activités à venir, les résultats à réaliser et les résultats attendus provenant de la prestation du programme et la manièere dont les objectifs du programme sont atteints.

Figure 2 : Modèle logique de CANARIE

2.0 Méthodologie

Cette section fournit des renseignements sur l'évaluation en termes d'objectifs, de portée, d'approche, d'enjeux, de questions soulevées, de méthodes de collecte de données et de limites.

2.1 Objectifs, portée et approche de l'évaluation

Objectifs

Une évaluation de CANARIE est requise dans le cadre de la Loi sur la gestion des finances publiques. Les objectifs de cette évaluation étaient d'étudier CANARIE conformément à la Politique sur les résultats du Conseil du Trésor et de tenir compte des enjeux identifiés par les gestionnaires du programme dans le but d'aviser quant au renouvellement du programme.

Portée et approche

L'évaluation s'est déroulée à l'interne et portait sur les quatre derniers exercices financiers, soit d'avril 2014 à mars 2018. L'évaluation a examiné la pertinence, le rendement, ainsi que l'efficience et l'économie de la contribution d'ISDE à CANARIE. Pour ce qui est de l'évaluation du rendement, l'accent a été mis sur les résultats intermédiaires identifiés dans le modèle logique de 2017 de CANARIE, car la dernière évaluation en 2015 avait déjà examiné les résultats immédiats.

2.2 Enjeux et questions de l'évaluation

L'évaluation a répondu aux questions suivantes :

Pertinence

1. Dans quelle mesure y a-t-il un besoin continu pour CANARIE dans l'environnement de l'infrastructure de recherche numérique (IRN) au Canada?

Rendement

2. Dans quelle mesure CANARIE a-t-il offert un accès accru à un réseau en R&E de classe mondiale, ainsi qu'une utilisation accrue de ce même réseau, à la communauté en recherche et en éducation du Canada?
3. Dans quelle mesure CANARIE a-t-il amélioré les occasions de collaborer à la création de connaissances et à l'innovation grâce à l'adoption et à l'utilisation accrues de technologies numériques avancées?
4. Dans quelle mesure CANARIE a-t-il soutenu le développement de produits et services novateurs en technologie d'information et de communications (TIC) et dans quelle mesure a-t-il accéléré la commercialisation de TIC au Canada?

Efficience et économie

5. Dans quelle mesure la prestation de CANARIE a-t-elle été efficiente et économique?
6. Est-ce que la structure de gouvernance de CANARIE soutient de façon efficiente la prestation du programme?

2.3 Méthodes de collecte de données

Plusieurs sources ont été utilisées pour répondre aux questions de l'évaluation. Les méthodes de collecte de données comprennent une revue de la littérature, un examen des documents et des données, des entrevues et des études de cas.

Revue de la littérature

Une revue de la littérature a été effectuée pour appuyer les autres sources dans l'évaluation de la pertinence, ainsi que de l'efficience et l'économie, de la prestation du programme. Elle comprenait la littérature et les études académiques en lien avec le besoin de programmes comme CANARIE, de même que des modèles et approches utilisés pour la mise en place de réseaux dans d'autres pays.

Examen des documents

Un examen des documents a été fait afin d'avoir une compréhension approfondie du programme et de fournir un aperçu en termes de pertinence et de rendement. L'examen comprenait les documents fondamentaux du programme d'ISDE; les documents fixant les priorités du gouvernement et les rapports annuels, plans corporatifs et documents connexes de CANARIE tirés de son site Web.

Examen des données

Le rendement de CANARIE ainsi que les données d'un sondage ont été examinés et analysés afin d'évaluer la réalisation des résultats intermédiaires souhaités. Des données financières, administratives et opérationnelles ont aussi été examinées et analysées pour appuyer l'évaluation de l'efficience et de l'économie de la prestation du programme.

Entrevues

Des entrevues ont été tenues afin de réunir des renseignements détaillés en lien avec la pertinence, le rendement, ainsi que l'efficience et l'économie du programme. Les entrevues étaient de nature semi-structurée et comptaient 45 participants (38 entrevues individuelles et trois de groupe) parmi un éventail de catégories d'intervenants en IRN, principalement :

• Les gestionnaires du programme et les partenaires de prestation;
• Les réseaux internationaux en R&E;
• Les partenaires en innovation et les acteurs en IRN;
• Les bénéficiaires finaux du financement de CANARIE; et
• Les utilisateurs du réseau de CANARIE.

Études de cas

Quatre études de cas ont été effectuées afin de fournir une perspective plus détaillée de la réalisation des résultats intermédiaires attendus de CANARIE^{Note de bas de page 5}. Ces études de cas comprenaient huit entrevues avec des intervenants du projet, de même qu'un examen des documents de CANARIE liés au projet. Un projet a été retenu dans chacun des programmes suivants de CANARIE : Fédération d'accès canadienne, l'Accélérateur technologique pour l'innovation et la recherche, le Réseau national de recherche et d'éducation, ainsi que les logiciels de recherche^{Note de bas de page 6}.

2.4 Limites et stratégies d'atténuation

L'évaluation a noté les limites élaborées ci-dessous. Les stratégies d'atténuation utilisées pour répondre à chacun des défis soulevés dans le cadre de l'évaluation sont aussi décrites ci-dessous.

Disponibilité des données du programme :

Il y avait peu de données de projets financés pour le programme de gestion de données de recherche de CANARIE étant donné que son conseil n'a seulement approuvé ce programme qu'en octobre 2017 et que les propositions pour démarrer le financement de projets n'ont débuté qu'en 2018-2019. Pour atténuer cette lacune, l'évaluation de ce programme s'est basée sur les renseignements qualitatifs recueillis durant les entrevues et a mis l'emphase sur l'évaluation de sa pertinence, ainsi que de sa conception et de sa prestation (c.-à-d. le rendement du programme de gestion de données de recherche n'a pas été évalué).

Biais des répondants :

Plusieurs personnes interviewées étaient impliquées dans la conception et la prestation du programme ou en sont des bénéficiaires directs. De ce fait, les constatations ont parfois été biaisées pour des résultats plus favorables. L'évaluation a atténué ceci en interviewant des intervenants de cinq catégories différentes. Ces catégories comptaient des membres de la communauté en R&E, de même que des représentants d'organismes existants de secteurs similaires dans l'environnement d'IRN.

3.0 Constatations

3.1 Pertinence

3.1.1 Dans quelle mesure y a-t-il un besoin continu pour CANARIE dans l'environnement des infrastructures de recherche numérique (IRN) au Canada?

Il existe un besoin démontré selon lequel le gouvernement fédéral continue d'appuyer CANARIE dans sa prestation d'un réseau national à haute vitesse pour la communauté en R&E au Canada. Les entrevues et la revue de la littérature, incluant la littérature internationale, ont mis l'emphase sur le fait que les réseaux à haute vitesse sont en demande croissante afin de faciliter le partage de données et la collaboration au sein de la communauté en R&E et sont essentiels à la recherche et à l'innovation^{Note de bas de page 7}, ^{Note de bas de page 8}, ^{Note de bas de page 9}.

De plus, le budget de 2018 a noté que les technologies améliorées, comme le réseautage plus rapide, permettent de nouvelles opportunités pour répondre aux défis scientifiques. L'accès amélioré à ces technologies renforcera la réputation du Canada comme leader mondial en sciences, en recherche et en innovation. Selon un rapport de l'OCDE, le secteur de TIC^{Note de bas de page 10} demeure un moteur important de l'innovation, comptant pour plus du tiers des demandes de brevets mondiales^{Note de bas de page 11}.

Une analyse des données du trafic de CANARIE a indiqué que le volume de trafic a augmenté de 149 % entre 2013-2014 et 2017-2018, soit de 92 000 téraoctets à 229 107 téraoctets, en raison de la demande accrue du réseau à haute vitesse de CANARIE par la communauté en recherche. Une analyse des données de rendement de CANARIE démontre aussi la nécessité d'avoir CANARIE, car le nombre d'utilisateurs a augmenté dans tous ses programmes entre 2014-2015 et 2017-2018^{Note de bas de page 12}.

L'analyse des données de rendement a constaté que le programme de Réseau national de recherche et d'éducation, lequel soutient des projets d'infrastructures de réseaux à travers le Canada, a connu la plus faible croissance globale parmi les établissements connectés durant cette période, soit une estimation établie à 14 %. Ceci peut toutefois être attribué au développement du réseau et au fait que, selon les entrevues, une majorité d'établissements canadiens ont désormais des connexions établies en raison de projets d'infrastructures de réseaux complétés.

3.2 Rendement

3.2.1 Dans quelle mesure CANARIE a-t-il offert un accès accru à un réseau en R&E de classe mondiale, ainsi qu'une utilisation accrue de ce même réseau, à la communauté en recherche et en éducation du Canada?

Accès à un réseau en r&e de classe mondiale et utilisation dudit réseau

Amélioration de la rapidité du réseau

CANARIE a été efficace pour offrir un accès accru à un réseau en recherche et en éducation de classe mondiale, de même qu'une utilisation accrue dudit réseau, à travers le Canada. Une analyse des données de rendement de CANARIE a permis une constatation selon laquelle la rapidité du transfert de données du réseau par kilomètre de fibre optique a été en croissance constante au cours des trois dernières années afin de soutenir le trafic de la communauté en recherche et en déduction. Il y a eu une croissance totale de 47 % de la capacité du réseau entre 2014-2015 et 2017-2018. Les intervenants ont indiqué que le réseau de CANARIE s'est développé en une dimension suffisante pour soutenir le transfert de données de 100 gigaoctets par seconde (Gbps)^{Note de bas de page 14}. Les constatations tirées des entrevues laissaient aussi entendre que la rapidité du réseau a permis l'utilisation de la conférence pour appuyer les cours offerts à distance dans les universités du Nord canadien.

Accès accru au réseau

L'accès au réseau par l'intermédiaire d'« eduroam » de CANARIE, un service offert par la Fédération canadienne d'accès afin de fournir aux étudiants et aux chercheurs un accès au Wi-Fi dans les établissements participants sans avoir à obtenir des identifiants spéciaux, est aussi en croissance. Les connexions au réseau grâce au service « eduroam » ont augmenté de 71 millions en 2014-2015 à 224 millions en 2017-2018. Mis à part que le service soit offert par l'intermédiaire de la Fédération canadienne d'accès, des preuves tirées des études de cas confirment que la Ville de Mississauga a aussi adopté et mis en place avec succès « eduroam » grâce à une entente de services avec CANARIE. Au cours de sa première année, soit entre les mois de mai 2017 et mai 2018, la Ville de Mississauga a compté plus d'un million de connexions Wi-Fi.  Il est prévu que l'utilisation annuelle d'« eduroam » augmentera étant donné que le service a été transmis à plus de 60 sites publics dans toute la ville.

Capacité accrue du réseau

Les preuves tirées de l'examen des documents et des données, de même que des entrevues, laissent entendre que CANARIE a soutenu ses partenaires de prestation provinciaux et territoriaux dans les projets d'infrastructures afin qu'ils créent et développent leurs réseaux. Il a soutenu 28 projets par l'entremise du programme de Réseau national de recherche et d'éducation (p. ex. le programme a permis de brancher deux établissements de recherche en Nouvelle-Écosse et a permis de combler les écarts du réseau dans le nord du Nouveau-Brunswick). CANARIE a aussi établi des branchements dans le nord de l'Ontario et s'est connecté au réseau régional du Manitoba qui relie toutes les écoles postsecondaires et primaires de la province. Récemment, il a branché des établissements en Alberta qui n'avaient pas auparavant de connexions au réseau.

Réputation mondiale atteinte

Les entrevues, tant avec les intervenants canadiens qu'internationaux, ont révélé que le Canada est perçu au même titre que le sont d'autres pays comme le Royaume-Uni, l'Allemagne et les Pays-Bas en termes de technologie utilisée pour soutenir et offrir le réseau CANARIE. Par exemple, il a été noté que le Canada envisage un réseau précommercial de 5G qui peut être intégré au réseau national. Les constatations tirées des entrevues avec les intervenants internationaux ont de plus révélé que le Canada est reconnu pour détenir un réseau en R&E de classe mondiale, tel que prouvé par le fait qu'on ait demandé à CANARIE de jouer un rôle de leader en appui aux autres pays dans le développement de leurs réseaux en R&E. CANARIE a conseillé le Brésil en planification stratégique pour son réseau en R&E et il a aussi participé à un groupe de travail international sur les réseaux en R&E qui étudient des façons plus efficientes et économiques pour mieux desservir la communauté en R&E. Il a toutefois été noté dans les entrevues que le défi du réseau en R&E du Canada comparativement à d'autres pays ou régions, comme les États-Unis ou l'Europe, semble se situer au niveau du vaste territoire et de la population relativement faible du pays. Tant la revue de la littérature que les constatations tirées d'entrevues ont noté que ceci avait un impact sur la structure de coûts du réseau canadien, sur sa flexibilité en termes de croissance et sur sa capacité d'utilisation par kilomètre carré^{Note de bas de page 15}.

3.2.2 Dans quelle mesure CANARIE a-t-il amélioré les occasions de collaborer à la création de connaissances et à l'innovation grâce à l'adoption et à l'utilisation accrues de technologies numériques avancées?

Création de connaissances et innovation collaboratives

Connaissances partagées sur le réseau

L'utilisation du réseau CANARIE, de concert avec les services disponibles par son intermédiaire, a soutenu la collaboration à travers une vaste gamme de domaines scientifiques au sein de la communauté en R&E au Canada, dont la bio-informatique, l'astronomie, la physique et les sciences humaines numériques. Par exemple, le réseau et sa capacité de relier des instruments scientifiques utilisés pour recueillir des données ont été essentiels pour permettre à Ocean Networks Canada d'observer en temps réel les données compilées par l'intermédiaire de son observatoire sous-marin câblé en Colombie-Britannique. Le réseau a aussi permis la mise en place d'une collaboration et du partage de données avec des établissements de la côte est du Canada. Les intervenants ont noté que le service « eduroam » de CANARIE a aussi facilité la création de connaissances, car il fournit l'occasion à la communauté en R&E de mener des recherches et d'accéder au réseau dans des établissements d'un océan à l'autre.

Les entrevues ont indiqué que le service d'« homologage»^{Note de bas de page 16} offert par l'intermédiaire du réseau, lequel permet l'accès à des services et des outils de tierces parties qui ont des ententes avec CANARIE pour échanger du trafic, a aussi été important pour la communauté en R&E. Cette offre ne serait autrement accessible que par l'intermédiaire de fournisseurs privés, ce qui entraînerait des coûts pour les utilisateurs.

Développement collaboratif de logiciels de recherche

Le programme de logiciels de recherche de CANARIE a facilité la création de connaissances et soutenu le développement collaboratif de plateformes qui, une fois complétées, sont mises à la disposition de la communauté en R&E par l'intermédiaire du réseau. Selon les entrevues, le partage de logiciels de recherche permet à la communauté en R&E d'optimiser les logiciels déjà existants lors du développement de logiciels similaires dans tous les domaines. L'examen des données a constaté que CANARIE a financé 11 projets par l'intermédiaire du programme de logiciels de recherche entre 2015-2016 et 2017-2018 afin de soutenir le développement et/ou l'entretien de services, plateformes et outils créés ou bonifiés^{Note de bas de page 17}. Par exemple, un chercheur a mentionné dans une entrevue que CANARIE a soutenu l'optimisation de leur plateforme. La plateforme implique des normes de métadonnées communes pour soutenir l'interopérabilité et la réutilisation des données grâce à une variété de fonctions en appui à la collaboration.

Bien qu'il y ait d'autres acteurs en IRN qui soutiennent le développement de logiciels de recherche, les études de cas ont fait ressortir des preuves indiquant que le soutien de CANARIE a facilité la collaboration. En 2016-2017, le programme de logiciels de recherche a soutenu le développement d'« Adnotare», une plateforme Web d'annotation unique par son utilisation de la technologie et de la flexibilité actuelles avec des caractéristiques bilingues et des capacités de partage de renseignements entre chercheurs. La plateforme offre aussi à la communauté en R&E une alternative gratuite pour l'annotation comparativement à des logiciels similaires, dont le coût par utilisateur peut aller jusqu'à 200 $ selon les témoignages recueillis lors des entrevues. Son développement est le fruit d'un effort de collaboration entre divers établissements postsecondaires au Québec. La plateforme a été adoptée par trois établissements pour des projets en criminologie, sur la maladie d'Alzheimer et en sciences humaines numériques. Elle est aussi utilisée en Australie pour la recherche en recouvrement de catastrophes environnementales, ainsi qu'en Allemagne pour la recherche.

3.2.3  Dans quelle mesure CANARIE a-t-il soutenu le développement de produits et de services novateurs en technologie d'information et de communications (TIC) et dans quelle mesure a-t-il accéléré la commercialisation de TIC au Canada?

Commercialisation de produits et services en tic

Développement à faible risque et contrôle par l'utilisation de ressources infonuagiques

CANARIE a facilité le développement de produits et de services en TIC en offrant des ressources infonuagiques gratuites aux petites et moyennes entreprises, ainsi qu'aux entreprises en démarrage, par l'entremise de son programme d'Accélérateur technologique pour l'innovation et la recherche (ATIR) et par l'entremise du programme de Centre d'excellence pour les réseaux de prochaine génération^{Note de bas de page 18}. L'ATIR fait partie du programme d'innovations du secteur privé de CANARIE, qui compte pour 3,5 % des dépenses totales du programme CANARIE entre 2014-2015 et 2017-2018. En tant que participants du programme ATIR, les petites et moyennes entreprises sont aptes à développer et à tester des produits dans un environnement à faible risque avant de les commercialiser.

Par exemple, Rebel Technologies^{Note de bas de page 19} a développé une solution logicielle pour moderniser l'analyse des données dans le secteur automobile. Les constats tirés des études de cas ont indiqué que le programme ATIR a offert une plateforme aux entreprises en démarrage pour tester le serveur, les applications infonuagiques et le développement de produits. Les études de cas ont aussi démontré que l'accès à des ressources infonuagiques par l'entremise du programme ATIR a permis des économies de coûts pour les entreprises en démarrage, leur permettant de réallouer leur financement en capital de risque vers la production d'un environnement infonuagique. Il a été noté dans les entrevues que l'avantage des ressources infonuagiques de CANARIE est qu'il permet un mouvement flexible de données qui aide à simplifier le développement de produits. Il offre aussi la capacité de tester de multiples scénarios afin de raffiner la conception de produits comparativement aux essais gratuits de ressources infonuagiques commerciales qui n'en permettent qu'un. La commercialisation de Rebel Technologies est prévue au début de 2019. Après la commercialisation, la portée cible de Rebel Technologies est d'être présent dans 10 000 ateliers de services à travers l'Amérique du Nord, l'Europe de l'Ouest et l'Australie au cours des trois prochaines années.

Un examen des données de rendement indique qu'il y a eu une croissance dans le nombre d'utilisateurs uniques provenant de petites et moyennes entreprises des infrastructures et des outils de CANARIE disponibles par l'entremise de l'ATIR, passant de 380 en 2014-2015 à 1 062 en 2017-2018. Bien que ceci fournisse la preuve de l'utilisation du programme ATIR, son impact est limité en ce qui a trait à la croissance de la commercialisation de produits et de services en TIC développés et testés en utilisant ses ressources infonuagiques. L'examen des données de rendement n'a pas trouvé de preuves quant au nombre, au type et à la qualité des produits et services développés et/ou commercialisés.

Selon les entrevues, CANARIE a soutenu le développement de produits en TIC. Par exemple, son soutien a permis le développement d'un prototype de système d'avertissement des tremblements de terre qui a garanti un financement additionnel du gouvernement provincial pour rendre opérationnel et mettre en place en Colombie-Britannique. Les personnes interviewées ont aussi noté qu'un sondage est administré aux participants de l'ATIR par CANARIE, mais que le compléter se fait sur une base volontaire et qu'il n'y a actuellement aucune exigence d'en faire rapport pour le programme. Ces constatations ont rendu la tâche difficile à CANARIE pour contrôler le succès des produits et services en TIC soutenus par l'ATIR. Bien que les intervenants voient le programme d'un œil positif, les preuves pour appuyer l'évaluation de l'efficacité du programme ATIR sont limitées, tout comme celles permettant de mesurer la mesure dans laquelle CANARIE a aidé à la commercialisation de TIC au Canada.

Impacts indirects sur le secteur de TIC

Outre le programme ATIR, les preuves tirées des entrevues laissent entendre que CANARIE a contribué au secteur de TIC en facilitant la collaboration par l'entremise de son réseau dans toute la communauté en R&E. Par exemple, un intervenant a fait mention d'une hausse dans le nombre de brevets de propriété intellectuelle et d'occasions novatrices de commercialisation à leur établissement en raison de cette collaboration. Un autre intervenant a fait mention que la collaboration a ouvert des portes pour leur établissement et a mené à des partenariats avec le secteur privé en intelligence artificielle et en véhicules autonomes. En facilitant l'accès aux occasions de collaboration avec d'autres intervenants en IRN, par exemple, par l'entremise de ses sommets nationaux, les membres de la communauté en R&E ont mentionné que CANARIE a aussi soutenu indirectement l'élargissement de leurs projets.

3.3 Efficience et économie

3.3.1 Dans quelle mesure la prestation de CANARIE a-t-elle été efficiente et économique?

Partenaires de prestation provinciaux et territoriaux

CANARIE a démontré sa capacité de livrer un réseau efficient en utilisant un modèle national qui implique les partenaires de prestation provinciaux et territoriaux. Les entrevues ont déterminé que le fait d'avoir un organisme indépendant qui gère les relations avec le réseau de partenaires de prestation provinciaux et territoriaux a permis des communications, une collaboration et une coopération efficaces.

Fonctionnement de canarie

Pour évaluer l'efficacité du fonctionnement de CANARIE, l'évaluation a permis d'étudier les sources de financement, les dépenses directes et indirectes, le mécanisme de recouvrement de coûts, de même que les dépenses par secteur.

Sources de financement, dépenses et recouvrement de coûts

CANARIE alloue son financement d'ISDE dans trois secteurs : l'exploitation de réseaux, l'innovation technologique et les innovations dans le secteur privé. La majorité des dépenses de fonctionnement de CANARIE (97,5 %) ont été comblées par le financement d'ISDE effectué entre 2014-2015 et 2017-2018. Les dépenses directes du programme en termes de proportion des dépenses totales ont été relativement stables au cours de cette même période, représentant 85 % de la contribution d'ISDE. CANARIE a démontré sa capacité à diversifier son offre de programmes, tout en gardant ses coûts généraux^{Note de bas de page 22} relativement stables.

Les dépenses de CANARIE sont conformes à ses allocations pour l'administration (15 % de la contribution d'ISDE), de même que dans ses trois secteurs (exploitation de réseaux, innovation technologique et innovation du secteur privé).

CANARIE a mis en place le recouvrement de coûts afin de soutenir davantage son fonctionnement et les dépenses restantes^{Note de bas de page 23}. Un examen des données financières démontre qu'il met de l'avant des frais d'utilisation comme moyen de recouvrement de coûts pour le réseau, la Fédération canadienne d'accès et les programmes ATIR. Du financement non financier est aussi offert par l'entremise des participants aux logiciels de recherche et au programme de gestion des données de recherche, tandis que le Réseau national de recherche et d'éducation, les logiciels de recherche et les programmes ATIR reçoivent des fonds de contrepartie. Le recouvrement de coûts total moyen par année était d'environ 3,2 millions $ entre 2014-2015 et 2017-2018.

Dépenses par secteur

Bien que les dépenses totales soient conformes avec les allocations de financement d'ISDE, un examen des données financières de CANARIE a révélé que la proportion des dépenses de CANARIE dans ces secteurs liés aux programmes peut varier d'une année à l'autre. Par exemple, en 2015-2016, 11,3 millions $ (ou 88,2 % des 12,8 millions des dépenses totales liées aux programmes) étaient pour le fonctionnement du réseau, tandis que 943 000 $ (ou 7,4 %) était pour l'innovation technologique (c.-à-d. logiciels de recherche, gestion des données de recherche, Données de recherche Canada et le programme de sécurité conjointe). En 20172018, même si les dépenses pour le fonctionnement du réseau ont augmenté à 14,9 millions $, elles ont diminué en termes de pourcentage des dépenses totales liées aux programmes (à 78,1 %). Pour l'innovation technologique, les dépenses ont augmenté à 3,4 millions $ (ou 17,6 % des dépenses totales liées aux programmes) en 2017-2018.

Le programme de logiciels de recherche, qui a été lancé en 2007, se veut le programme principal de CANARIE en termes de dépenses du secteur d'innovation technologique. Dans le cadre de ce programme, CANARIE a investi 4,8 millions $ pour financer un total de 11 projets entre 2015-2016 et 2017-2018 afin de soutenir le développement et/ou l'entretien de services, de plateformes et d'outils créés ou optimisés (une moyenne de plus de 436 000 $ par projet).

CANARIE n'est pas le seul fournisseur de financement de soutien dans le secteur des logiciels de recherche, ce qui a toutefois causé un peu de confusion parmi les intervenants en termes de l'attention perçue de CANARIE par rapport aux autres acteurs. Un examen des données du sondage sur les logiciels de recherche, mené par CANARIE en 2017, a révélé que seulement 15 % des répondants avaient dit utiliser le financement de CANARIE pour soutenir le développement de leurs logiciels de recherche actuels. De plus, seulement 18 % de ces répondants se fiaient uniquement au financement de CANARIE pour soutenir leurs projets, 51% des répondants mentionnant avoir aussi reçu du financement d'au moins un des trois organismes^{Note de bas de page 24} et 17 % recevant du financement de la Fondation canadienne pour l'innovation (FCI).

Toutefois, seuls deux organismes financés par le fédéral (CANARIE et le FCI) soutiennent de façon explicite le développement de logiciels de recherche par l'entremise d'appels au développement de logiciels et l'emphase des programmes de développement de logiciels est différente pour ces deux organismes. Les objectifs stratégiques du CANARIE au sein de son programme de logiciels de recherche sont de soutenir le développement et la réutilisation de logiciels de recherche de haute qualité, de réduire le montant de financement de recherche par subvention utilisé pour développer des logiciels, et de soutenir le développement d'une communauté canadienne de développeurs de logiciels de recherche. L'initiative Cyberinfrastructure de la FCI met au défi la communauté de soumettre des projets rassemblant des chercheurs de partout au pays qui partagent des défis similaires liés à la disponibilité de données de recherche. Les projets devraient tenir compte d'un défi actuel ou émergent pour cette communauté par l'entremise du développement de nouveaux outils et de nouvelles applications ou de façons novatrices d'organiser et d'utiliser des données de recherche qui amélioreraient la capacité de la communauté de mener des recherches de pointe^{Note de bas de page 25}.

Bien qu'il y ait quelques chevauchements entre CANARIE et la FCI quant aux projets soumis et ceux qui sont éventuellement financés par la FCI, ces initiatives sont complémentaires, car le financement de la FCI (pour un montant approximatif de 2 millions $ par projet) soutient le développement de larges plateformes répondant aux besoins d'une vaste communauté de chercheurs dans un domaine donné. En revanche, le programme de logiciels de recherche de CANARIE se concentre sur le développement de logiciels de recherche de haute qualité qui peuvent être utilisés et réutilisés dans une vaste gamme de flux de travail de projets de recherche dans de multiples domaines de recherche. La FCI et CANARIE se sont engagés à collaborer aux projets de logiciels de recherche afin d'assurer précisément ce type de complémentarité et ils continuent de le faire.

Les personnes interviewées ont noté que les investissements de CANARIE permettaient des efforts de développement ciblés de logiciels de recherche qui soutiennent et bonifient les investissements significatifs faits par la FCI faits au début des années 2000, dont le logiciel de neuro-imagerie de l'Université McGill nommé cBrain^{Note de bas de page 26}. En effet, la FCI a fourni l'infrastructure fondamentale et CANARIE a prolongé leurs capacités logicielles.

3.3.2 Est-ce que la structure de gouvernance de CANARIE soutient de façon efficiente la prestation du programme?

Le conseil d'administration est l'instance dirigeante de CANARIE et est composé à l'heure actuelle de représentants tant du secteur privé que de membres de la communauté en R&E.  Bien qu'il ne détienne pas un statut officiel d'observateur sur le conseil, ISDE est invité régulièrement par CANARIE pour assister aux réunions du conseil. Le conseil est responsable d'administrer la prestation des programmes de CANARIE, tout en soutenant la direction stratégique de l'organisme. Selon les entrevues, la structure de gouvernance est claire et efficace pour le service principal de CANARIE qui est de rendre disponible un réseau national.

CANARIE fait appel à des comités d'intervenants afin de fournir des avis sur l'amélioration de la conception et de la prestation de ses programmes. Au cours des récentes années, il a fait des améliorations au comité du programme de Réseau national de recherche et d'éducation en lui assignant un employé à temps plein pour coordonner et administrer le programme de Financement ciblé afin d'améliorer l'efficacité de la prise de décisions pour les projets d'infrastructures de réseaux, de s'assurer que les décisions soient prises par consensus et sélectionnées en se fondant sur les priorités et les besoins observés dans l'ensemble des provinces et territoires et que les décisions soient soumises au conseil en temps opportun pour approbation.

En ce qui a trait à la gestion de données de recherche, les intervenants ne sont pas certains du rôle joué par le conseil comparativement à d'autres acteurs de ce secteur^{Note de bas de page 27}. Il a été noté durant les entrevues que le conseil de CANARIE est perçu comme donnant son avis, mais non une direction, sur la gestion de données de recherche et qu'établir la direction dans ce secteur demande une coordination, une collaboration et une consultation exhaustives avec les autres acteurs^{Note de bas de page 28}. De plus, les intervenants ont indiqué que le rôle de l'instance dirigeante de CANARIE en lien avec Données de recherche^{Note de bas de page 29} n'était également pas clair étant donné qu'il possède une instance dirigeante distincte pour établir sa direction stratégique, mais qu'il reçoit du financement de CANARIE pour son fonctionnement et ses activités.

4.0 Conclusions et recommandations

4.1 Conclusions

Pertinence

• CANARIE répond au besoin unique d'avoir un réseau national à haute vitesse qui appuie la collaboration en recherche et facilite le partage des connaissances en vue de stimuler l'innovation. La nécessité d'avoir CANARIE est aussi démontrée par un volume de trafic accru sur le réseau. CANARIE utilise son réseau pour offrir des programmes à de multiples secteurs de l'Infrastructure en recherche numérique (IRN) du Canada, mais il y a d'autres organismes qui soutiennent aussi ces secteurs.

Rendement

• CANARIE a développé son accès au réseau, de même que sa rapidité et sa capacité de données, d'un bout à l'autre du Canada afin d'appuyer la communauté en R&E. Son réseau est comparable à ceux d'autres pays de l'OCDE en termes de disponibilité et d'utilisation de technologies actuelles.
• Le réseau de CANARIE a facilité la collaboration au sein de la communauté en R&E afin de soutenir la création de connaissances et l'innovation.
• CANARIE a soutenu le développement de produits et de services innovants en technologie de l'information et des communications (TIC) en facilitant la collaboration via son réseau dans l'ensemble de la communauté en R&E. CANARIE a aussi aidé à faciliter le développement de produits et de services en TIC en offrant des ressources infonuagiques gratuites par l'entremise du programme d'Accélérateur technologique pour l'innovation et la recherche (ATIR). Bien que les intervenants voient l'ATIR d'un œil positif, il y a peu de preuves quant à la mesure dans laquelle CANARIE a aidé à accélérer la commercialisation en TIC au Canada.

Efficience et économie

• Le modèle de CANARIE a été efficace dans la prestation d'un réseau national et a impliqué les partenaires de prestation provinciaux et territoriaux. Un modèle fédéré a mené à une hausse des économies de coûts, de la collaboration et de la coordination.

• CANARIE possède une structure de gouvernance claire qui soutient la prestation efficace d'un réseau national. Il a apporté des améliorations récentes au comité de gouvernance de son Réseau national de recherche et d'éducation afin d'assurer une utilisation efficace et économique des ressources. Le rôle de l'instance dirigeante de CANARIE n'est toutefois pas clair dans le secteur de la gestion de données de recherche.

4.2 Recommandations

Les constatations de l'évaluation mènent aux recommandations suivantes :

Recommandation 1 : Clarté du mandat

ISDE devrait considérer la révision des activités admissibles de CANARIE, principalement celles ayant trait aux logiciels de recherche, à la gestion de données de recherche et à l'ATIR afin de s'assurer que leurs objectifs soient clairs et uniques comparativement à ceux d'autres organismes dans le but de simplifier le portrait de l'IRN pour la communauté en R&E.

Recommandation 2 : Mesure de l'impact

On devrait considérer la révision des résultats attendus dans le but de s'assurer que les programmes de CANARIE soient conformes à ses objectifs. ISDE devrait revoir le modèle logique de CANARIE afin de déterminer si des indicateurs additionnels et une stratégie de données connexe devraient être développés pour surveiller l'impact de CANARIE sur la commercialisation de produits et services en technologie de l'information et des communications.