Évaluation du Centre de recherches sur les communications

Rapport final

Janvier 2012

Recommandé par le Comité ministériel de vérification, le 25 janvier 2012, aux fins d'approbation par le sous-ministre

Approuvé par le sous-ministre le 7 février 2012

Annexes (documents distinct)
Les annexes sont disponibles par demande d'accès à l'information

Liste des tableaux

Liste des figures

Définitions, acronymes et sigles utilisés dans le présent rapport

Résumé

Aperçu du programme

Le Centre de recherches sur les communications Canada (CRC) est le principal laboratoire fédéral de recherche-développement en télécommunications de pointe. Il est aussi un centre d'excellence en technologies de l'information et des communications (TIC). L'organisme supervise 20 programmes de recherche individuels et offre une vaste gamme de services internes d'un Bureau de transfert de technologie à des services de conception graphique. En outre, le CRC fait office de propriétaire du campus de Shirleys Bay à Ottawa, où il partage les locaux avec de nombreux ministères ainsi que des entreprises du secteur privé.

Créé en 1969, le CRC fait partie d'Industrie Canada depuis 1994 et relève aujourd'hui du Secteur du spectre, des technologies de l'information et des télécommunications (STIT) du Ministère. Il dispose d'un financement annuel d'environ 52,7 millions de dollars, dont quelque 18 millions de dollars proviennent d'autres ministères et du secteur privé.

But et méthode de l'évaluation

La présente évaluation vise à éclairer la prise de décisions par la gestion relativement aux priorités futures et à l'allocation des ressources. L'évaluation a été menée conformément à la Politique sur l'évaluation et à la Directive sur la fonction d'évaluation du Conseil du Trésor.

Les constatations et les conclusions de l'évaluation reposent sur l'analyse de plusieurs sources de données. La méthode comprenait un examen de documents et une analyse documentaire, un examen des données administratives, des entrevues clés, un sondage auprès des clients, des groupes d'experts et un examen d'autres laboratoires fédéraux.

Constatations

Pertinence

De par son rôle dans la recherche sur les TIC ainsi que sa capacité à donner des avis techniques impartiaux dans les tribunes politiques et réglementaires, le CRC s'acquitte des rôles et responsabilités impartis au gouvernement fédéral dans la législation.

Les activités du CRC cadrent avec les priorités fédérales énoncées dans le discours du Trône de juin 2011 ainsi que dans la Stratégie fédérale des sciences et de la technologie intitulée Réaliser le potentiel des sciences et de la technologie au profit du Canada. Les activités du CRC sont aussi alignées sur les résultats stratégiques d'Industrie Canada, mais les axes de recherche de l'organisme témoignent d'une interprétation très large de ces résultats. Cette interprétation devrait être plus restrictive, et il faudrait examiner plus souvent la pertinence de la recherche afin d'assurer la conformité du travail effectué par l'organisme.

Le CRC se trouve à la croisée technologique de la gestion du spectre, de l'innovation et de la réglementation au Canada. Tout indique que l'organisme joue toujours un rôle utile en raison de l'importance croissante de l'industrie des TIC ainsi que de la dépendance de ses clients envers ses services, notamment le STIT d'Industrie Canada, les autres ministères, le milieu universitaire, l'industrie et d'autres intervenants à l'échelle internationale. Le CRC, en raison de son expertise interne et de son équipement, est la principale source de conseils judicieux et impartiaux du gouvernement du Canada en vue d'éclairer l'élaboration de ses politiques et règlements.

Les entrevues clés avec des clients du secteur privé et d'autres ministères ont révélé que ces derniers n'avaient pas une capacité équivalente à celle dont dispose le CRC à l'interne. Aux yeux des clients payants, toute autre solution ne favoriserait pas autant leurs priorités de recherche et leurs intérêts concurrentiels. Ceci est particulièrement vrai pour les grands ministères qui ont besoin de rétroaction en matière de réglementation, de sécurité nationale et de sécurité publique. Dans le sondage auprès des clients, même si la majorité des répondants ont indiqué qu'au moins une partie des travaux qu'ils confient au CRC pourraient être effectués ailleurs, ils ont indiqué dans leurs commentaires qu'il y a fort à parier que si le CRC ne participait pas à leurs travaux, leur réalisation serait entachée par des problèmes de qualité et une expertise insuffisante.

Les groupes d'experts ont souligné l'importance pour la recherche canadienne de demeurer à l'avant-garde des nouvelles tendances, mentionnant que ces travaux étaient importants pour le développement économique, et constituaient une priorité scientifique pour le gouvernement. Les groupes d'experts ont également relevé des secteurs spécialisés de l'organisme qui effectuent peut-être des recherches revêtant actuellement moins d'importance pour le gouvernement du Canada. Même si le gros de la recherche effectuée au CRC est jugée hautement pertinente, les groupes d'experts ont fait remarquer que certaines recherches ne sont plus pertinentes et ont recommandé une réorientation des groupes de recherche concernés.

Rendement

Le CRC effectue des travaux de recherche de calibre mondial. Des 20 programmes de recherche menés par l'organisme, 16 ont obtenu des prix au cours des cinq dernières années. Collectivement, durant cette période, les chercheurs ont cumulé plusieurs centaines de publications et des milliers de citations; ils ont aussi présenté plus de 200 exposés. L'organisme attire des clients et des collaborateurs du monde entier. Dans les entrevues clés, les clients ont tous louangé la très grande qualité des travaux du CRC. Des groupes d'experts ont toutefois indiqué qu'il s'imposait de réorienter certaines des recherches du CRC car l'excellence du travail avait fléchi au fil du temps.

Au moment de la présente évaluation, le CRC participait à un exercice conjoint avec le STIT pour établir des objectifs et des mesures de rendement. Il était donc difficile de déterminer si le CRC obtient ou non les résultats attendus. Néanmoins, l'évaluation s'est appuyée à la fois sur des sources de données brutes recueillies dans le cadre de l'évaluation, de même que sur d'autres ensembles de données et études utilisés par l'organisme pour évaluer son rendement par rapport aux résultats généraux énoncés dans le Plan stratégique 2007-2010 et le Rapport ministériel sur le rendement (RMR) du CRC. Il semble bien qu'il ait progressé dans l'atteinte de ses objectifs. Le CRC devrait disposer d'une stratégie de mesure du rendement plus solide au terme de l'exercice conjoint avec le STIT.

Selon plusieurs sources de données, les clients profitent des conseils impartiaux du CRC pour ce qui est des constatations scientifiques, des solutions techniques et de la délivrance de licences de propriété intellectuelle (PI). Le sondage auprès des clients a révélé que la majorité des clients estimaient que le travail effectué par le CRC pour leur organisme leur procurait de véritables avantages, 91,2 % les qualifiant de très bons ou d'excellents. Toutefois, les clients ne croient pas exploiter pleinement les capacités du CRC et ont souligné qu'une fonction de développement des affaires renforcerait leur capacité de se prévaloir de tout ce que le CRC a à offrir.

Il a été impossible d'aborder dans cette évaluation la rémunération du travail effectué pour des clients. Bien que les rentrées de fonds soient documentées dans les systèmes financiers, le CRC ne peut extraire d'information sur le temps consacré à chaque contrat de recherche. En l'absence de systèmes de suivi administratif appropriés, comme ceux qui existent dans d'autres laboratoires fédéraux, il n'est pas possible d'établir si le CRC facture un montant approprié.

La gouvernance du campus de Shirleys Bay par le CRC est conforme aux politiques du Conseil du Trésor et l'organisme maximise le recouvrement des coûts. Cependant, le modèle actuel réduit la capacité de l'organisme à se concentrer sur son mandat de recherche. De plus, le CRC consacre beaucoup de temps et d'énergie à la gestion du campus et au règlement des problèmes d'infrastructure.

Les dépenses de fonctionnement du CRC sont relativement élevées par rapport à celles d'autres centres de recherche. Ceci est dû en partie au fait que certains des services spécialisés internes de l'organisme visent à appuyer le fonctionnement du campus. Le CRC pourrait réaliser des économies si certaines fonctions étaient centralisées, regroupées ou imparties à contrat.

Enfin, l'efficacité des activités de recherche au CRC n'est actuellement pas optimale. Cette lacune n'est pas attribuable à la capacité des chercheurs, mais plutôt aux pratiques de gestion antérieures et à une structure organisationnelle cloisonnée. Un certain remaniement des ressources consacrées à la recherche s'impose pour optimiser l'excellence, le talent et la capacité du CRC en vue d'engendrer les résultats attendus.

Recommandations

Des conclusions de l'évaluation se dégagent les recommandations suivantes :

1. Le CRC devrait améliorer son rendement à l'interne et s'adapter aux réalités modernes de la recherche en technologies de l'information et des communications au sein du gouvernement.
   1. Prendre en compte les recommandations des groupes d'experts, en particulier celles qui portent sur les zones de chevauchement, les inefficacités et les domaines d'importance stratégique moindre pour l'organisme.
   2. Trouver des solutions plus efficaces pour les services spécialisés internes.
   3. Examiner les axes de recherche à intervalles réguliers pour en déterminer l'excellence, la pertinence et l'incidence.
   4. Continuer à travailler à un modèle de gouvernance centrant l'action de l'organisme sur son mandat de recherche.
2. Le CRC devrait améliorer le suivi de l'utilisation des ressources qu'il consacre à la recherche et au travail pour le compte de clients.
   1. Les chercheurs devraient comptabiliser le temps qu'ils consacrent à chacun de leurs projets pour déterminer le coût réel des services aux clients et assurer une facturation adéquate.
   2. Des systèmes devraient être mis en place pour assurer la production de rapports sur les activités axées sur les clients par programme de recherche.
3. Pour mieux faire connaître ses capacités, le CRC devrait renforcer ses relations avec les clients/entreprises. Il faudrait envisager ce qui suit :
   1. définir clairement et promouvoir les capacités du CRC auprès des clients et des intervenants;
   2. recueillir de l'information commerciale sur les tendances nouvelles et émergentes;
   3. mettre à jour les données du mécanisme de rétroaction des clients au terme de chaque projet de recherche;
   4. jouer officiellement un rôle de catalyseur pour renforcer ses relations de travail avec le STIT.
4. Pour mieux évaluer le rendement de la recherche, le CRC devrait continuer à élaborer des mesures du rendement des extrants et à établir et mesurer les résultats immédiats, intermédiaires et finaux.

1.0 Introduction

Ce rapport présente les résultats de l'évaluation du Centre de recherches sur les communications Canada (CRC) effectuée entre mai et novembre 2011. Le but de cette évaluation était d'évaluer la pertinence et le rendement du CRC. Le rapport compte quatre sections :

• La section 1 dresse le profil du CRC.
• La section 2 présente la méthode d'évaluation.
• La section 3 fait état des constatations propres à l'évaluation de la pertinence et du rendement.
• La section 4 résume les conclusions de l'évaluation et recommande des mesures à prendre.

1.1 Aperçu du CRC

Situé à Shirleys Bay à Ottawa, le CRC est le principal laboratoire fédéral de recherche-développement spécialisé dans les télécommunications de pointe. Il est aussi un centre d'excellence en technologies de l'information et des communications (TIC). Les origines du CRC remontent aux années 1940, quand le Conseil national de recherches du Canada (CNRC) étudiait les ondes radioélectriques et la mise au point de matériel électronique à l'appui de l'effort de guerre du Canada. Après la Seconde Guerre mondiale, les efforts de recherche ont été regroupés pour former le Centre de recherches sur les télécommunications de la défense (CRTD). En 1962, le CRTD a construit le premier satellite canadien, Alouette 1, qui a été désigné comme l'une des dix grandes réalisations du premier centenaire de l'ingénierie au Canada.

Dans la foulée du succès d'Alouette, le gouvernement a décidé de développer les communications civiles en créant le ministère des Communications et son département de recherche en 1969. Le CRC, issu du CRTD, a obtenu le statut d'institut de recherche en 1992^{Note de bas de page 1} et a été rattaché à Industrie Canada en 1994. Il relève actuellement du Secteur du spectre, des technologies de l'information et des télécommunications (STIT).

Le CRC compte plusieurs clients internes et externes au gouvernement fédéral. Au sein d'Industrie Canada, le CRC fournit au STIT des connaissances scientifiques indépendantes et de l'information pour l'aider à élaborer des politiques, règlements, normes et programmes sur la gestion des télécommunications et du spectre. D'autres ministères comptent également parmi les clients importants du CRC, surtout le ministère de la Défense nationale (MDN) et l'Agence spatiale canadienne (ASC). La relation entre l'organisme et le MDN remonte à sa création et le protocole d'entente de longue date entre les deux organismes qualifie leur relation de « mutuellement bénéfique ». Les récents projets de recherche effectués par le CRC pour le compte du MDN visent à assurer aux Forces canadiennes des communications sans fil à la fine pointe en cas de déploiement aux fins de surveillance à distance. L'ASC, qui est également un client de longue date, a recours à l'expertise technique du CRC en vue de disposer de systèmes de communication efficaces pour ses grands projets de satellite. Le CRC donne en outre des avis scientifiques à d'autres organismes gouvernementaux^{Note de bas de page 2}.

Le CRC cherche également à appuyer l'industrie canadienne en effectuant des recherches pour le compte de clients, en prévoyant les orientations futures dans le domaine des TIC et en transférant des technologies et des titres de propriété intellectuelle à l'industrie en vue de leur exploitation.

Outre ses activités de recherche, le CRC agit en tant que propriétaire-locateur du campus de recherche de Shirleys Bay, à environ 20 kilomètres à l'ouest du centre-ville d'Ottawa. Industrie Canada est propriétaire du terrain du campus, et le CRC gère le campus au profit de l'ensemble des locataires du gouvernement selon le principe de recouvrement des coûts.

1.2 Mission et résultats attendus

L'énoncé de mission du CRC reflète les nombreuses priorités auxquelles répond l'organisme au niveau fédéral et au sein d'Industrie Canada. Le CRC formule sa mission comme suit^{Note de bas de page 3} :

1. Jouer les rôles de centre d'excellence du gouvernement fédéral dans le domaine de la R-D des communications et de service-conseil indépendant à l'appui de l'élaboration des politiques publiques.
2. Soutenir les activités gouvernementales dirigées par les principaux clients dans des domaines d'application précis des TIC, comme la défense, la sécurité publique et les communications dans l'espace.
3. Encourager la croissance et l'évolution du secteur canadien des communications en formant des partenariats avec l'industrie, en transférant des technologies et en collaborant avec des universités et d'autres organisations de recherche.
4. Accroître la réputation internationale de chef de file du Canada dans le domaine de la recherche sur les TIC en établissant des collaborations et des partenariats internationaux.

1.3 Structure organisationnelle du CRC

Le CRC est dirigé par un président, qui relève du sous-ministre adjoint du Secteur du spectre, des technologies de l'information et des télécommunications. L'organisme compte un Conseil consultatif qui comprend des représentants de ses principaux clients, lesquels donnent des avis en gestion ainsi que des avis sur des questions techniques.

Le CRC compte quatre directions de recherche : Technologies des réseaux à large bande; Recherche sur les technologies de radiodiffusion; Recherche sur les communications par satellite et propagation radioélectrique; et Systèmes terrestres sans fil. Chacune de ces directions est dirigée par un vice-président, qui relève du président du CRC.

Outre les quatre directions de recherche, les activités du CRC incluent plusieurs groupes de services spécialisés internes et un groupe responsable des opérations du campus. Ces groupes relèvent du président du CRC. On trouvera de plus amples détails sur les opérations du campus et les services corporatifs aux sections 1.5 et 1.6.

1.4 Ressources organisationnelles

Le financement accordé au CRC en 2011-2012 s'élève à environ 52,7 millions de dollars. Ce financement provient de diverses sources, notamment des services votés d'Industrie Canada, d'autres ministères, du secteur privé (impartition et recettes tirées de la propriété intellectuelle (PI) et du recouvrement des coûts des locataires du campus de Shirleys Bay. Le tableau 1 ci dessous indique d'où provient le financement du CRC en 2011-2012 et la figure 1 présente un aperçu de l'affectation budgétaire durant la même période^{Note de bas de page 4}.

Figure 1: Aperçu de l'affectation budgétaire du CRC, 2011-2012

L'organisme alloue environ 57 % de son budget aux activités de recherche, 28 % aux opérations du campus et 12 % aux services spécialisés internes. De plus, 1 % est alloué à la redistribution des redevances de propriété intellectuelle aux inventeurs internes du CRC conformément à la Loi sur les inventions des fonctionnaires, et 2 % à l'atelier de fabrication et de conception, qui produit des prototypes et les autres appareils requis par les chercheurs.

Le CRC emploie environ 385 ETP dans ses services spécialisés internes, des opérations du campus et des activités de recherche. La répartition des employés entre ces trois activités est présentée au tableau 2.

1.5 Opérations du campus

Le CRC est le gardien du campus de Shirleys Bay depuis 1970. Le campus abrite des laboratoires, des centres informatiques, des bureaux, des bibliothèques et d'autres installations qui appartiennent soit à Industrie Canada ou à l'un des locataires du Ministère. D'une superficie de 313,2 hectares, le site compte 111 bâtiments permanents et temporaires, dont 40 appartiennent exclusivement au CRC et 24 sont partagés (p. ex., des bâtiments pour les conduites électriques, la centrale thermique à vapeur, la cafétéria, la sécurité, etc.). La majorité des autres bâtiments sont de petites installations à vocation spécifique, surtout des laboratoires et des installations d'entreposage. On compte une vingtaine de bâtiments occupés par des employés à temps plein du CRC^{Note de bas de page 5}.

Les occupants du campus de Shirleys Bay sont entre autres le MDN, l'ASC et Bibliothèque et Archives Canada (BAC), qui sont tous propriétaires de leurs bâtiments et installations et en assument la responsabilité. Le Bureau d'homologation et de services techniques du STIT (BHST-STIT) se trouve également sur le campus. Le tableau 3 identifie les principaux occupants et la proportion des bâtiments que chacun occupe.

Quelque 51 ETP sont affectés aux opérations du campus, dont 40 à l'entretien des bâtiments et 11 à la gestion immobilière. Un directeur supervise l'entretien et le développement du campus de Shirleys Bay.

1.6 Services spécialisés internes

En plus d'abriter des services de recherche, le CRC loge aussi divers services spécialisés internes qui l'aident à mener à bien sa mission. Ces services vont de la gestion financière à la conception graphique interne :

• Services de création visuelle – Un centre de photographie et de conception graphique à services complets qui appuie le marketing du CRC, notamment la fonction de transfert de technologie et la recherche de l'organisme.
• Développement des affaires – Cette fonction représente le CRC ou Industrie Canada au sein des comités fédéraux sur la gestion de la R-D et fait office d'agent de liaison du Canada dans le cadre de la collaboration scientifique avec l'Union européenne.
• Communications et promotion – Il s'agit de l'organe de publicité du CRC.
• Bureau de transfert de technologie (BTT) – Ce bureau gère la propriété intellectuelle du CRC, négocie les ententes de délivrance de licences de propriété intellectuelle et fait la liaison avec d'autres organismes de recherche (p. ex., CNRC). Le BTT supervise également le Centre d'innovation, l'incubateur commercial du CRC, qui facilite l'accès des entreprises naissantes à l'expertise et aux installations internes du CRC.
• Finances et gestion du matériel – Ce groupe est responsable de la gestion et du contrôle des ressources financières du CRC ainsi que de l'information sur le rendement financier, de la passation de marchés et de la gestion du parc automobile.
• TI et GI – Ce groupe fournit un soutien en TI^{Note de bas de page 6} ainsi que des services de gestion de l'information au CRC, notamment des services de bibliothèque et de gestion des dossiers.

1.7 Recherche du CRC

Les compétences de base en recherche du CRC incluent les systèmes sans fil, les réseaux de communication, les fondements de la radio, le multimédia interactif et la radiodiffusion, et la photonique. La recherche entreprise dans le cadre de ces domaines de compétence de base emploie 259 chercheurs qui appuient 20 programmes de recherche différents. Une liste des programmes de recherche propres à chaque compétence de base et une brève description des travaux sont présentées à l'annexe 1.

Au moment de la présente évaluation, le CRC parachevait son Plan stratégique de 2011-2014. Ce plan reflète les récents efforts déployés par le CRC pour revoir ses priorités de recherche afin d'en assurer la pertinence avec les besoins actuels et nouveaux de ses clients et le calibre mondial. Dans le cadre de cet effort soutenu, le plan fixe quatre priorités stratégiques sur lesquelles le CRC axera dorénavant ses efforts :

1. Spectre : recherche menée à l'appui des décisions d'Industrie Canada en matière de politiques, de réglementation et de prestation de programmes qui touchent la gestion du spectre.
2. Défense et sécurité publique : recherche menée à l'appui de l'achat et de la mise en place de systèmes de communication pour la défense, de l'amélioration des systèmes d'intervention en matière de sécurité publique et de la mise au jour et de l'atténuation des menaces pour la cybersécurité.
3. Nouvelles technologies de réseau : recherche-développement sur de nouvelles technologies de communication de pointe pour bien cerner leurs répercussions sur les programmes gouvernementaux et l'industrie canadienne.
4. Applications et adoption de technologies de pointe en matière de communications : recherche-développement qui permet au CRC de fournir des avis techniques, des prototypes et des logiciels, et de transférer des technologies à l'industrie en vue d'appuyer la mise en œuvre de nouveaux systèmes et l'adoption de nouvelles technologies.

Les cinq compétences de base en recherche du CRC transcendent ces nouvelles priorités. Les nouveaux résultats et les indicateurs de rendement propres aux nouveaux résultats stratégiques seront énoncés à mesure que le STIT élaborera son modèle logique sectoriel, processus qui était en cours au moment de la présente évaluation.

2.0 Méthode d'évaluation

La présente section décrit les objectifs de l'évaluation, la démarche générale et les questions particulières abordées, de même que les méthodes de collecte de données utilisées et les limites de la méthodologie empruntée.

2.1 Contexte

Ces dernières années, le CRC a entrepris de vastes exercices d'examen. En 2009, le programme a mené une série de quatre examens, mettant l'accent sur les activités de recherche centrées sur les clients de l'organisme, les activités de recherche fondamentale, la gouvernance et les services intégrés de gestion. Au terme de ces quatre études, la direction du STIT s'était engagée à examiner plus en profondeur les cinq grands secteurs de recherche du CRC. Les cinq compétences de base constituant les axes dominants de la recherche au CRC sont les suivants^{Note de bas de page 7} :

• la photonique;
• les systèmes sans fil;
• les réseaux de communication;
• les fondements de la radio;
• le multimédia interactif et la radiodiffusion.

Le premier de ces examens, mené à titre pilote en 2010, a porté principalement sur la recherche en photonique au CRC. Cet examen, axé sur l'excellence, la pertinence et l'incidence de la recherche du CRC dans le domaine de la photonique, a permis de cerner les domaines de recherche prioritaires. Il en a aussi résulté des recommandations quant à la hiérarchisation des priorités, et au réalignement ou à la cessation de plusieurs activités de recherche en photonique.

Au terme de l'examen de la photonique, la direction du STIT et du CRC ont communiqué avec la Direction générale de la vérification et de l'évaluation (DGVE) pour mener des examens similaires dans d'autres secteurs de recherche fondamentale du CRC, dans la perspective d'éclairer l'évaluation générale du CRC. Comme l'examen de la photonique a été réalisé avant la présente évaluation, il a été décidé d'utiliser la même méthode pour assurer la comparabilité des résultats de toutes les compétences de base.

2.2 Approche

L'évaluation a été réalisée par la DGVE. Les groupes d'experts, élément crucial de l'évaluation, ont été présidés par un expert indépendant de la recherche sur les TIC chargé de rendre compte des constatations des groupes d'experts. Cette démarche est conforme à une pratique exemplaire mentionnée dans le document du Secrétariat du Conseil du Trésor intitulé Études de cas sur les facteurs d'efficacité et l'utilisation des évaluations effectuées au sein du Gouvernement du Canada, paru en 2005. Selon l'étude, les évaluations qui font appel à des experts-conseils de l'extérieur ont une plus grande incidence quant à la prise de décisions ministérielles.

2.3 Objectif et portée de l'évaluation

L'objectif de l'évaluation était de faciliter la prise de décisions par la haute direction relativement aux priorités et à l'affectation des ressources.

2.4 Questions de l'évaluation

L'évaluation portait sur les questions suivantes :

Pertinence

• Dans quelle mesure le CRC répond-il toujours à un besoin démontrable?
• Dans quelle mesure les objectifs du CRC cadrent-ils avec les priorités du gouvernement fédéral et les résultats stratégiques d'Industrie Canada?
• Dans quelle mesure l'action du CRC est-elle alignée sur les rôles et les responsabilités du gouvernement fédéral?

Rendement

• Dans quelle mesure la qualité de la recherche du CRC est-elle excellente?
• Dans quelle mesure le CRC atteint-il les résultats attendus?
• Dans quelle mesure les clients tirent-ils parti de la recherche du CRC?
• Dans quelle mesure le CRC fait-il preuve d'efficacité dans ses opérations internes, dans le fonctionnement de son campus et dans ses activités de recherche?

2.5 Méthodes de collecte des données

Dans la mesure du possible, on a eu recours à de multiples sources de données et à la triangulation de l'information, pour répondre à toutes les questions d'évaluation concernant la pertinence et le rendement. Les méthodes d'évaluation suivantes ont été utilisées :

• Examen de documents
• Analyse documentaire
• Examen de données administratives
• Entrevues clés
• Sondage auprès des clients
• Groupes d'experts sur les compétences de base en recherche
• Examen de centres de recherche fédéraux

2.5.1 Examen de documents

Dans le cadre de l'évaluation, on a procédé à un examen de s documents des programmes du CRC, notamment les plans stratégiques de l'organisme, les rapports généraux, les examens antérieurs, les études d'incidence économique et d'autres rapports. L'examen portait également sur divers rapports ministériels d'Industrie Canada, des examens de programmes de recherche du CRC et la législation pertinente. La liste des documents est fournie à l'annexe 3.

2.5.2 Analyse documentaire

L'analyse documentaire visait à recueillir de l'information générale sur l'industrie des TIC ainsi que sur l'incidence économique de la R-D sur les TIC pour établir le contexte de l'étude. Cette analyse a aussi servi à établir d'éventuelles mesures de l'excellence, au même titre que l'examen de documents. Une liste des documents analysés est fournie à l'annexe 4.

2.5.3 Examen de données administratives

La base de données administrative du BTT du CRC a été examinée pour nous éclairer sur la pertinence et le rendement de l'organisme. Cet examen a permis de cerner, au fil des années, l'ampleur de la délivrance de licences de propriété intellectuelle et des autres travaux effectués à contrat pour le compte d'autres organismes.

2.5.4 Entrevues clés

Des entrevues clés ont été réalisées dans le but de discuter des questions de pertinence et de rendement et de mieux contextualiser les données provenant d'autres sources. Au total, 38 entrevues ont été réalisées :

• Cadres du CRC, dont un ancien (7)
• Autres employés et cadres d'Industrie Canada (12)
• Autres ministères (notamment RDDC, MDN et ASC) (6)
• Représentants du secteur privé (11)
• Milieu universitaire (2)

La liste ci-dessus inclut un client sélectionné au hasard de chaque programme de recherche examiné par les groupes d'experts^{Note de bas de page 8}. On trouvera à l'annexe 5 la liste des personnes interrogées et le guide d'entrevue.

2.5.5 Sondage auprès des clients

Un sondage auprès des clients a été réalisé dans le cadre de cette évaluation. Il reposait en grande partie sur le sondage ciblant les clients de la photonique mené durant l'étude de 2010. Ainsi, on assurait la collecte de données similaires pour tous les groupes et la comparabilité des résultats. De plus, le sondage comptait des questions sur la pertinence et l'efficacité, offrant aux clients la possibilité de préciser leurs attentes quant à leur collaboration future avec le CRC, les raisons pour lesquelles ils ont choisi de collaborer avec le Centre ainsi que l'incidence de l'organisme sur leurs travaux.

Aux fins de la présente évaluation, les clients ont été définis comme ceux qui s'étaient procurés des services du CRC contre rémunération. La liste de clients de chaque directeur de recherche ainsi que les coordonnées (p. ex., numéros de téléphone et adresses de courriel) ont été fournies par le CRC. Les clients devaient remplir un formulaire en ligne et avaient la possibilité d'appeler la DGVE s'ils souhaitaient répondre au sondage par téléphone. Le suivi en cas de non-réponse a été effectué par courriel. Le taux de réponse final au sondage a été de 63 % (68 sur 108). Le questionnaire figure à l'annexe 6, et les résultats sommatifs du sondage peuvent être consultés à l'annexe 7.

2.5.6 Groupes d'experts sur les compétences de base en recherche

Les groupes d'experts sur les compétences de base avaient pour mandat de produire une analyse approfondie de l'excellence, de la pertinence et de l'incidence des travaux de recherche menés par le CRC. Chaque groupe comprenait quatre membres (16 en 2011 et quatre pour l'examen de la photonique en 2010), plus l'expert-conseil pilotant les groupes. Les membres des groupes représentaient l'industrie canadienne, les grands clients, le milieu universitaire et l'industrie étrangère, le cas échéant, au titre de chaque compétence.

Pour les besoins des groupes d'experts, la DGVE a interrogé l'équipe de direction du CRC pour mettre en évidence les éléments fondamentaux de chaque programme de recherche du CRC. Dans le sondage étaient abordées des questions de pertinence, d'efficacité et d'efficience, les questions portant sur la gestion de la recherche au CRC. En outre, on a recueilli des données diverses, de l'inventaire de l'équipement spécialisé jusqu'aux activités de publication et aux prix décernés aux chercheurs de chaque programme de recherche.

Le questionnaire du sondage s'inspirait largement des questions posées aux gestionnaires dans le cadre de l'examen de 2010 sur la photonique au CRC, moyennant certains ajouts pour s'assurer que soient abordées les principales questions de pertinence et de rendement propres à la présente évaluation. On trouvera le sondage auprès des gestionnaires à l'annexe 8. Les gestionnaires du programme de recherche sur la photonique ont été invités à fournir des mises à jour à l'aide du nouveau modèle. En dernier lieu, il y a eu mise à jour du rapport de l'an dernier.

Le consultant présidant les groupes, de même que les membres des groupes, ont ensuite reçu les résultats aux fins d'examen et d'analyse préliminaires. Par la suite, les groupes d'experts de chaque compétence de base ont été convoqués au CRC pour examiner les données transmises à tous les membres (entre autres, le sondage auprès des gestionnaires, le sondage auprès des clients et les présentations de chaque directeur de recherche) et poser des questions aux directeurs de recherche en personne. Les membres des groupes d'experts ont également eu la possibilité de visiter les laboratoires et de voir les innovations du CRC.

2.5.7 Examen de centres de recherche fédéraux

Pour évaluer l'efficacité du modèle de fonctionnement du CRC, on a entrepris un petit examen de quatre laboratoires fédéraux canadiens. Les critères de sélection : la taille du budget et le nombre d'ETP. L'examen incluait une série de quatre entrevues clés et un bref questionnaire financier. Le guide d'entrevue, le gabarit du questionnaire financier ainsi que la liste des organismes participants sont fournis à l'annexe 9.

2.6 Limites des données

Les trois principales limites de l'évaluation étaient les suivantes :

Modèle logique des programmes et indicateurs de rendement

Le CRC ne disposait d'aucun modèle logique au début de cette évaluation, alors que ce modèle constitue un élément clé du processus d'évaluation. À la fin de l'évaluation, le CRC avait élaboré une version presque finale d'un modèle et s'apprêtait à y charger une première année de données. L'absence d'un modèle a rendu très difficile la détermination des données clés et des sources de données requises pour mesurer la capacité du programme à produire les résultats attendus. Pour atténuer ce problème, on a utilisé le RMR d'Industrie Canada en vue d'évaluer l'atteinte des résultats par l'organisme. De plus, la DGVE a entrepris de nombreuses activités de collecte de données brutes (entre autres celles dont il est fait état dans le présent rapport, comme le sondage auprès des clients, le sondage auprès des gestionnaires et les groupes d'experts) pour constituer une base d'information adéquate en vue d'évaluer la pertinence et le rendement.

Ensembles de données auto-déclarées

Après l'examen de la photonique en 2010, plusieurs programmes ont été remaniés. Par ailleurs, le Ministère a entrepris un processus d'examen stratégique fonctionnel pendant la même période. La perception selon laquelle cette évaluation pourrait entraîner d'autres changements organisationnels a accru le risque de partialité dans les réponses du personnel. Les éléments autodéclarés de cette évaluation incluaient les données provenant du sondage auprès de la direction et les listes de clients à partir desquelles l'univers du sondage de la clientèle a été défini. Dans la mesure du possible, d'autres sources de données ont été consultées afin de valider les constatations.

Membres des groupes d'experts

Les groupes d'experts représentaient principalement des groupes non gouvernementaux. Bien que cela importe pour faire en sorte que le CRC dispose des meilleurs avis pour éclairer sa prise de décisions, cette façon de faire biaise délibérément les résultats – le risque que les résultats des groupes soient teintés par l'industrie ou le milieu universitaire. Les groupes avaient été informés d'entrée de jeu qu'ils formuleraient des avis et non des recommandations contraignantes. Le CRC devra évaluer les recommandations des groupes dans la perspective d'une entité gouvernementale avant de procéder à des changements.

3.0 Constatations

3.1 Pertinence

3.1.1 Dans quelle mesure le CRC répond-il toujours à un besoin démontrable?

Le CRC se trouve à la croisée technologique de la gestion du spectre, de l'innovation et de la réglementation au Canada. Tout indique que l'organisme donne au gouvernement du Canada des avis neutres et impartiaux sur des questions allant de l'utilisation efficace du spectre à la sécurité publique et aux besoins en communication sans fil pour la défense nationale. Le CRC contribue également au développement de l'industrie des TIC au Canada en donnant accès à l'industrie à des titres de propriété intellectuelle de l'organisme, à des services d'impartition et à un incubateur d'entreprises.

Au cours des dernières années, le secteur des TIC au Canada a connu une croissance plus rapide que le reste de l'économie canadienne, sauf durant le ralentissement économique en 2009. Depuis, le secteur connaît une tendance à la hausse avec une croissance cumulative de 5,8 % depuis le troisième trimestre de 2009^{Note de bas de page 9}, par rapport à une croissance de 1,1 % pour l'ensemble des industries canadiennes. Le secteur est une source d'emplois importante pour une main-d'œuvre hautement scolarisée et verse aux travailleurs des salaires supérieurs à la moyenne^{Note de bas de page 10}. Les services d'impartition et l'incubateur d'entreprises du CRC engendrent de nouvelles compagnies de TIC en donnant accès aux entreprises nouvelles et existantes à de l'expertise et à de l'équipement auxquels les petites entreprises n'auraient normalement pas accès.

Les entrevues avec les clients ont révélé qu'ils n'avaient une capacité équivalente à celle dont dispose le CRC à l'interne. Aux yeux des clients, toute autre solution ne favoriserait pas autant leurs priorités de recherche et leurs intérêts concurrentiels. Ceci est particulièrement vrai pour les grands ministères qui ont besoin de rétroaction en matière de réglementation, de sécurité nationale et de sécurité publique. La connaissance du spectre est une ressource limitée et selon les entrevues avec des employés d'Industrie Canada, ce dernier doit miser sur de la recherche impartiale pour faire en sorte que ses politiques et règlements procurent un avantage optimal à l'industrie canadienne des télécommunications et aux autres utilisateurs du spectre au Canada. Par ailleurs, tant le gouvernement que l'industrie ont indiqué que la réputation internationale du CRC donne de la crédibilité aux résultats de ses travaux et facilite les relations avec ses clients et ses intervenants.

Le sondage auprès des clients a également révélé que le CRC jouait un rôle utile : quand on leur a demandé s'ils continueraient de faire affaire avec le CRC, 39,7 % des clients ont indiqué que leur collaboration avec le CRC ne changerait pas, tandis que 48,5 % des clients ont estimé qu'elle pourrait augmenter au cours des prochaines années. Même si la majorité des clients ont indiqué qu'au moins une partie des travaux qu'ils confient au CRC pourraient être effectués ailleurs, ils ont précisé dans leurs commentaires qu'il y a fort à parier que si le CRC ne participait pas à leurs travaux, leur réalisation serait entachée par des problèmes de qualité et une expertise insuffisante.

La valeur totale des marchés passés par l'industrie privée avec le CRC en 2010-2011 s'élevait à environ 600 000 $^{Note de bas de page 11}. De plus, l'organisme a tiré environ 1,4 million de dollars de ses revenus de 75 licences de propriété intellectuelle, ce qui atteste du grand recours aux services du CRC que font le gouvernement, l'industrie et d'autres intervenants. En juillet 2011, le CRC comptait aussi sept entreprises en développement dans son incubateur, le Centre d'innovation, où elles ont accès à l'expertise et aux bancs d'essai du CRC. Depuis 1960, le CRC a engendré 107 entreprises dérivées, dont 54 sont encore en exploitation^{Note de bas de page 12 Note de bas de page 13}.

Les groupes d'experts constitués pour évaluer la valeur technique des programmes de recherche conviennent de la valeur implicite de la recherche sur les TIC menée par le gouvernement du Canada. La nécessité pour le Canada de demeurer à la fine pointe de nombreuses technologies nouvelles ou émergentes a été jugée importante pour le développement économique et constitue une priorité scientifique pour le gouvernement. Par exemple, les groupes d'experts ont souligné l'importance des travaux d'un groupe de recherche qui centre ses efforts sur la définition de technologies intelligentes d'accès au spectre, tout en épaulant le STIT dans des initiatives réglementaires et politiques qu'il a entreprises. Ce groupe s'emploie à atténuer l'interférence et l'encombrement du spectre.

D'autres groupes de recherche s'intéressent à des activités qui améliorent grandement l'utilisation du spectre quant aux applications militaires et spatiales, tandis que d'autres examinent les besoins de l'industrie en nouvelles technologies ainsi que son accès à des applications logicielles. Les groupes d'experts ont également souligné que le CRC met ses installations et son équipement, comme ses bancs d'essai, à la disposition de ses clients et de ses collaborateurs.

Toutefois, tous les groupes d'experts ont également cerné des secteurs spécialisés de l'organisme pouvant effectuer de la recherche qui, bien qu'excellente, revêt actuellement une importance stratégique moindre pour le gouvernement du Canada. Les groupes d'experts ont ainsi fait état d'un programme qui fait de la recherche d'excellente qualité; cependant, dans ce domaine, il s'avère difficile d'établir un plan de recherche à long terme. Il s'ensuit que certains sujets sont de nature universitaire ou découlent d'intérêts individuels, tout en ayant une pertinence ou une incidence limitée.

Dans un petit nombre de projets de recherche, on a observé des problèmes comme l'imprécision des objectifs, le chevauchement avec des travaux menés ailleurs ou un amoindrissement de l'utilité de la recherche dans des domaines où s'imposent des technologies plus récentes ou dont la pertinence serait plus grande dans d'autres domaines d'étude.

3.1.2 Dans quelle mesure les objectifs du CRC cadrent-ils avec les priorités du gouvernement fédéral et les priorités stratégiques d'Industrie Canada?

Conformité aux priorités du gouvernement fédéral

Les activités du CRC cadrent avec le Discours du Trône du 3 juin 2011 dans lequel il est indiqué qu'afin d'accroître la productivité du Canada, d'augmenter sa compétitivité économique et d'améliorer notre niveau de vie, le gouvernement continuera de miser sur des investissements ciblés pour promouvoir et encourager la recherche et le développement dans le secteur privé canadien ainsi que dans nos universités. Le gouvernement cherchera aussi des façons de soutenir l'innovation, tout en veillant à ce que les investissements du gouvernement fédéral dans la recherche et le développement soient utiles et optimisent les résultats pour les Canadiens.

Les activités du CRC respectent également la priorité stratégique fédérale : une économie axée sur l'innovation et le savoir, et sont conformes à la Stratégie fédérale des sciences et de la technologie intitulée Réaliser le potentiel des sciences et de la technologie au profit du Canada, dans laquelle les TIC figurent parmi les quatre priorités de la recherche du Canada. Même si le CRC n'est pas mentionné expressément dans la Stratégie, son action est abordée dans le contexte du document, comme en fait état l'énoncé de mission du CRC. Plus précisément, le CRC intervient tant au plan de l'avantage entrepreneurial que de l'avantage humain de la Stratégie des sciences et de la technologie (S-T).

Par exemple, l'avantage entrepreneurial ciblé par la Stratégie des S-T vise à favoriser un climat commercial concurrentiel et dynamique, à établir des partenariats public-privé de commercialisation et de recherche et à accroître les retombées des programmes fédéraux d'aide à la R-D commerciale. L'énoncé de mission du CRC indique que l'organisme a pour but d'« encourager la croissance et l'évolution du secteur canadien des communications en formant des partenariats avec l'industrie, en transférant des technologies et en collaborant avec des universités et d'autres organisations de recherche ».

L'un des principaux objectifs de l'avantage humain, autre élément clé de la Stratégie des S-T, consiste à élargir le bassin de diplômés en sciences et en technologie hautement qualifiés et branchés internationalement. L'énoncé de mission du CRC confie pour mandat à l'organisme de travailler avec les universités et d'« accroître la réputation internationale de chef de file du Canada dans le domaine de la recherche sur les TIC en établissant des collaborations et des partenariats internationaux ». De plus, le sondage auprès des gestionnaires a révélé que les programmes de recherche accueillent habituellement des étudiants diplômés à des fins de mentorat et d'échange de connaissances.

Conformité aux priorités stratégiques d'Industrie Canada

D'après l'Architecture des activités de programme du Ministère, le CRC respecte le sous-objectif 2.2 de l'Architecture d'Industrie Canada, Les sciences et la technologie, les connaissances et l'innovation sont des moteurs efficaces pour une économie canadienne forte. Le CRC est la source ministérielle d'information en recherche sur les TIC. Il épaule le ministère dans l'élaboration de règlements, de normes et de programmes en TIC. Il met aussi son expertise en TIC au service d'autres partenaires fédéraux, de l'innovation et du transfert de technologies.

L'organisme s'emploie principalement à concrétiser la priorité stratégique du STIT : excellence en recherche et en innovation dans le domaine des TIC. Plus précisément, le Plan stratégique 2011-2014 du CRC indique que le CRC a pour vision d'« être le centre d'excellence fédéral pour la recherche sur les TIC au Canada ».

Un sondage auprès des gestionnaires a révélé que tous les directeurs de recherche de l'organisme estimaient que leur travail cadrait avec la priorité stratégique susmentionnée du STIT. La plupart des directeurs ont par ailleurs énuméré d'autres priorités stratégiques du STIT et cité des projets de recherche et d'autres activités qui s'y rattachaient directement. Ceci témoigne du vaste mandat de recherche auquel les chercheurs se sont habitués, ainsi que de leurs efforts à s'acquitter de ce mandat.

Les groupes d'experts ont constaté un certain glissement dans la portée de programmes de recherche du CRC. Dans plusieurs cas, les programmes entreprenaient des activités qui dépassaient leurs objectifs premiers et risquaient de chevaucher d'autres programmes du CRC. Dans d'autres cas, les activités de recherche sortaient du cadre des programmes du CRC.

Ce sentiment de disposer d'un vaste mandat de recherche se dégage également des entrevues clés : les clients internes et les cadres supérieurs d'Industrie Canada ont révélé avoir le sentiment que la planification stratégique du CRC ne répondait pas toujours aux besoins du STIT; toutefois, l'exercice le plus récent a fait participer activement les cadres supérieurs du STIT à une hauteur qui commence à répondre aux besoins d'harmonisation à ce niveau^{Note de bas de page 14}. Malgré l'amélioration de cette harmonisation stratégique, les personnes interrogées ont fait part de leur impression que certains directeurs de recherche continuaient à poursuivre leurs propres intérêts de recherche plutôt que ceux définis par ce processus^{Note de bas de page 15}.

Les groupes d'experts ont tous laissé entendre que des examens plus fréquents s'imposaient peut-être pour s'assurer que le travail demeure ciblé et pertinent. Ils ont également indiqué que des mises à jour annuelles et continues du mandat de l'organisme permettraient de mieux cibler et orienter les objectifs de recherche.

3.1.3 Dans quelle mesure l'action du CRC est-elle alignée sur les rôles et les responsabilités du gouvernement fédéral?

L'action du CRC découle directement de la Loi sur la radiocommunication et de la Loi sur les télécommunications. À propos du ministre de l'Industrie, la Loi sur la radiocommunication stipule que :

« … le ministre peut, compte tenu des questions qu'il juge pertinentes afin d'assurer la constitution ou les modifications ordonnées de stations de radiocommunication ainsi que le développement ordonné et l'exploitation efficace de la radiocommunication au Canada… entreprendre, parrainer, promouvoir ou aider la recherche en matière de radiocommunication, notamment en ce qui touche les aspects techniques de la radiodiffusion… »

Par exemple, le CRC a mis au point un sonomètre qui permet de surveiller les changements dans le volume des messages publicitaires télédiffusés. Cet appareil a en fait été si bien accueilli par le milieu de la recherche sur les TIC qu'il est devenu la norme internationale.

La Loi sur les télécommunications, qui traite également des rôles et responsabilités du gouvernement fédéral, précise ce qui suit :

« La présente loi affirme le caractère essentiel des télécommunications pour l'identité et la souveraineté canadiennes; la politique canadienne de télécommunication vise à… stimuler la recherche et le développement au Canada dans le domaine des télécommunications ainsi que l'innovation en ce qui touche la fourniture de services dans ce domaine… »

Par exemple, à l'appui des préparatifs en vue du passage à la télévision numérique (TVN) en 2011, le CRC a effectué des tests pour étudier la réception en direct de la télévision numérique. Utilisant Québec comme site d'essai, il a constaté que les petites antennes de TVN « prêtes à l'emploi », qui sont vendues aux consommateurs de télévision en direct, n'étaient pas très efficaces aux fréquences VHF. L'étude, commandée par le STIT, devait examiner les différences possibles entre la couverture de signaux analogiques et la couverture de TVN. À l'avenir, elle pourra être utilisée par le STIT pour peaufiner les règles et règlements ou gérer la bande VHF pour la télévision numérique.

Par ailleurs, le CRC épaule le ministre dans l'exécution de ses tâches se rapportant à la Loi sur la radiocommunication et à la Loi sur les télécommunications en offrant des avis scientifiques neutres et impartiaux aux organismes de réglementation et aux décideurs (comme ceux qui travaillent au sein du STIT), ainsi qu'un véritable soutien technologique à des initiatives particulières. Dans le sondage auprès des gestionnaires, la majorité des répondants ont indiqué que le STIT était le bénéficiaire de leurs travaux, en particulier du fait qu'ils sont outillés et disponibles pour fournir des avis politiques et réglementaires dans leur domaine en fonction des besoins.

3.2 Rendement

3.2.1 Comment savoir si cette recherche est excellente?

Mesure de l'excellence

Selon une analyse documentaire, la mesure de l'excellence de la recherche en génie est une discipline en soi, mais il existe des points communs dans cette discipline qui fournissent un cadre grâce auquel on peut évaluer l'excellence du travail mené au CRC. Dans les domaines des sciences et du génie, on fait souvent référence à la création de propriété intellectuelle et à l'incidence globale du travail. Les publications et les citations subséquentes tirées des publications sont deux exemples d'indicateurs de la recherche scientifique plus axés sur le milieu universitaire. Le réseau d'autres professionnels collaborant au programme évalué dénote également l'excellence.

Excellence au CRC

En effet, l'excellence du CRC a été soulignée officiellement par de nombreuses autres organisations. Selon le sondage auprès des gestionnaires, des 20 programmes de recherche du CRC, 16 ont remporté des prix d'organismes externes au cours des cinq dernières années. Par exemple, le CRC a décroché trois Emmy Awards^{Note de bas de page 16} décernés par l'International Academy of Television Arts and Sciences.

Le Prix d'excellence en transfert de technologies de 2006 a été décerné au CRC par les Partenaires fédéraux en transfert de technologie pour la recherche-développement novatrice dans le domaine de la radio réalisée par logiciel. Plus précisément, le prix a récompensé la mise au point d'un système qui fournit des communications fiables et ininterrompues entre les radios et d'autres appareils de communication, permettant ainsi aux personnes de demeurer en communication, surtout lorsqu'elles en ont le plus besoin, pendant, par exemple, des catastrophes naturelles où les systèmes de communication sont les plus vulnérables. On trouvera au tableau 4 d'autres exemples de prix obtenus récemment.

De plus, au cours des cinq dernières années, les chercheurs de l'organisme ont accumulé plusieurs centaines de publications et des milliers de citations. Ils ont accepté de prendre la parole à titre professionnel à plus de 200 occasions et ont été conviés à présider divers comités^{Note de bas de page 18}. Les groupes d'experts se sont déclarés très satisfaits de bon nombre des axes de recherche du CRC, et des experts ont souligné la réputation internationale de certains directeurs de recherche.

L'organisme attire des clients et des collaborateurs du monde entier aux fins de la réalisation de divers mandats, depuis la consultation jusqu'à la mise au point de nouvelles technologies. Ces relations attirent un savoir-faire externe et réduisent le coût de la réalisation de la recherche au CRC, en plus de renforcer les capacités et les résultats de l'organisme. Par ailleurs, le CRC recrute habituellement des étudiants diplômés, ce qui facilite la formation d'un plus grand nombre de professionnels hautement qualifiés au Canada et l'échange d'information qui profite au CRC puisqu'il lui donne accès à de nouvelles idées qui circulent en milieu universitaire.

Dans les entrevues, tous les clients du CRC, dont de l'industrie, des autres ministères et d'Industrie Canada, estiment que la recherche du CRC est de grande qualité. Les clients qui étaient en mesure de comparer la qualité de la recherche au CRC à celle d'autres laboratoires reconnus à l'échelle internationale ont estimé que la qualité au CRC était égale à celle d'organismes comparables et que le CRC était un chef de file dans certains domaines.

Dans une analyse comparative menée en 2007^{Note de bas de page 19}, le CRC s'est classé parmi les trois principaux laboratoires comparables de TIC au monde. On y louange aussi les efforts de commercialisation du CRC qui ont engendré des résultats supérieurs à ceux des autres organismes visés par l'étude. Par ailleurs, le personnel du CRC s'est classé au deuxième rang du groupe d'organismes similaires pour ce qui est du nombre de publications par chercheur.

Les groupes d'experts ont tous commenté le calibre et l'excellence de la recherche effectuée au CRC (et ont parfois commenté leur propre expérience avec les chercheurs à la tête du programme examiné) et conclu que les chercheurs du CRC avaient acquis une réputation impressionnante parmi leurs pairs à l'échelle mondiale. Par exemple, un groupe d'experts a indiqué que la littérature grise de l'un des directeurs de recherche jouit d'une considération tellement grande qu'elle est souvent acceptée aux fins de publication sans grand problème. Les projets d'un autre programme sont si opportuns que des organes de normalisation internationaux lui font régulièrement appel en vue de l'évaluation de prototypes.

Ceci dit, les groupes d'experts ont remis en question l'excellence de la recherche menée dans le cadre de deux programmes de recherche. Dans un cas, ils ont déterminé que les capacités d'un groupe découlent en grande partie d'activités antérieures et sont désormais accessibles ailleurs. Dans un autre axe de recherche, ils ont constaté qu'on y effectuait pas vraiment de recherche à l'heure actuelle, les chercheurs de cet axe fournissaient plutôt des services et du soutien, répondaient aux demandes d'entités gouvernementales et offraient des services techniques.

3.2.2 Le CRC atteint-ils les résultats attendus?

Selon l'Examen du Centre de recherches sur les communications de 2009, élément 1 : La recherche axée sur la clientèle, le CRC a besoin de mesures du rendement adéquates qui définiraient plus clairement les contributions de l'organisme au Ministère. En réponse à cette suggestion et par suite d'une plus grande intégration au niveau stratégique entre le CRC et le reste du STIT, un modèle logique conjoint est en voie d'élaboration et devrait être terminé dans les mois à venir.

Le Plan stratégique 2007-2010 du CRC fait état de plusieurs résultats à atteindre pour l'organisme. Quoi qu'il en soit, le CRC n'a pas défini clairement ces résultats si ce n'est qu'en des termes généraux et il n'a pas fait de suivi officiel au moyen d'indicateurs de rendement. Or, les données recueillies en vue de cette évaluation semblent indiquer que l'organisme a progressé dans l'atteinte de ces résultats. On ne trouve pas dans le Plan stratégique 2011-2014 du CRC un ensemble similaire de résultats, probablement parce que l'organisme est à élaborer un modèle logique conjoint.

En l'absence d'une série complète d'indicateurs de rendement, on a misé, aux fins de la présente évaluation, sur trois sources de données pour déterminer si le CRC avait atteint les résultats attendus : les extrants provisoires de la recherche, conformément au modèle logique provisoire; les résultats énoncés dans le Plan stratégique de 2007-2010; et les résultats attendus du CRC figurant dans le Rapport ministériel sur le rendement. On prévoyait que les extrants provisoires et les résultats du plan stratégique donneraient une bonne idée des résultats immédiats et le RMR, lui, des résultats finaux à obtenir dans l'avenir.

Extrants

The draft outputs, presented in Table 5 below, will likely be used as performance indicators for the logic model currently under development when it is approved. While outputs represent a portrayal of what the organization does with its research time, they do not provide insight into the real value and influence of the CRC's work. Presumably, once the program develops a more sophisticated set of outcomes, this will be present in its indicators. Additionally, without stated targets, as is the case with most outputs, it is not possible to provide meaningful analysis on the organization's activities.

Résultats

Dans son Plan stratégique de 2007-2010, le CRC se donne huit résultats stratégiques^{Note de bas de page 21}. Présentés au tableau 6 ci-dessous, ils permettent d'évaluer les réalisations de l'organisme, mais n'en brossent pas un tableau complet. Le CRC ne fait pas un suivi officiel des indicateurs énumérés, mais nombre d'entre eux sont visés par d'autres mécanismes de production de rapports, les extrants provisoires présentés ci-dessus ainsi que les sources de données brutes utilisées dans la présente évaluation. Tout comme les extrants provisoires, les indicateurs du plan stratégique n'incluent pas de points de référence ou de cibles et en raison du peu de données facilement disponibles, il n'a pas été possible d'effectuer une analyse de séries chronologiques, rendant ainsi toute analyse difficile.

Dans l'ensemble, les indicateurs montrent que le CRC s'emploie à atteindre les résultats qu'il s'est fixés. Par exemple, l'organisme a utilisé des indicateurs universitaires traditionnels pour évaluer l'excellence de la recherche au sein de l'organisme. Les indicateurs les plus révélateurs sont les communications sollicitées, qui révèlent non seulement le niveau d'acceptation des chercheurs, mais aussi le degré de notoriété professionnelle et de reconnaissance des réalisations dans le milieu de la recherche en TIC.

Résultats attendus

Dans le RMR d'Industrie Canada, le CRC définit les deux résultats attendus suivants :

• Industrie Canada et d'autres organismes gouvernementaux reçoivent des avis techniques de grande qualité et axés sur la recherche pour élaborer des politiques, des règlements et des normes en matière de télécommunication et appuyer le fonctionnement du gouvernement.
• Les entreprises canadiennes utilisent les technologies développées par le CRC pour améliorer leurs produits.

Le CRC mesure le résultat Industrie Canada et d'autres organismes gouvernementaux reçoivent des avis techniques de grande qualité et axés sur la recherche pour élaborer des politiques, des règlements et des normes en matière de télécommunication et appuyer le fonctionnement du gouvernement en évaluant la satisfaction de ses clients. Le taux cible de satisfaction des clients est de 80 %. Selon le sondage effectué dans le cadre de cette évaluation, 91,1 % des clients ont attribué la note de quatre ou cinq sur cinq à leur expérience générale avec le CRC, un seul client la jugeant tout à fait insatisfaisante et cinq la qualifiant d'excellente. Il convient de noter qu'il n'y aura par de sondage auprès des clients de prévu dans les prochaines versions du RMR, cet élément devant bientôt être remplacé par d'autres indicateurs.

Le deuxième résultat attendu, que les entreprises canadiennes utilisent les technologies développées par le CRC pour améliorer leurs produits, se mesure d'après l'accroissement quinquennal du chiffre d'affaires total des entreprises canadiennes ayant un lien avec le CRC, par rapport aux moyennes du marché. On ciblait une augmentation de 20 %, mais celle-ci s'est établie à 61 % selon les études sur l'incidence économique du transfert technologique du CRC^{Note de bas de page 23}. Le rapport précise que malgré le ralentissement de 2008-2009, le chiffre d'affaires total en 2010 de ces entreprises était bien plus élevé que celui de 2005. Cela tient en grande partie à des fusions avec des entreprises de plus grande taille ou à leur acquisition par de grandes entreprises. Les petites entreprises ont en fait enregistré des chiffres d'affaires moins élevés en 2010 qu'en 2005^{Note de bas de page 24}. Il est intéressant de noter que ce résultat attendu et l'indicateur sont similaires au résultat 2 du Plan stratégique de 2007-2010 dont il est question ci-dessus.

Dans le RMR, le CRC compte également parmi les trois programmes qui permettent au Canada de continuer à figurer dans l'Indice d'innovation^{Note de bas de page 25} (objectif atteint en passant du 12^e au 11^e rang en 2010-2011), au classement international de la collaboration université-industrie en R-D (atteint en demeurant au 2^e rang) et au classement selon le nombre d'employés travaillant en R-D par rapport au nombre total d'employés (objectif dépassé la dernière fois qu'il a été évalué en 2004-2005, à savoir 13,3 par 1 000 employés.

Bien que les mesures susmentionnées donnent un bon aperçu, elles ne brossent pas un tableau détaillé et complet des activités et extrants du CRC. Les données ne permettent pas non plus d'expliquer en détail comment les objectifs énoncés pourraient avoir été atteints.

3.2.3 Dans quelle mesure les clients tirent-ils parti de la recherche du CRC?

Le CRC attire des clients très peu éloignés (d'autres secteurs d'Industrie Canada) et très éloignés, par exemple, de l'Inde. La liste des clients produite par les gestionnaires dans leur sondage inclut le STIT, divers autres ministères au Canada, l'industrie privée, le milieu universitaire, des gouvernements étrangers et d'autres organismes. Les principaux ministères clients sont le MDN (qui investit environ six millions de dollars par an dans le CRC), l'ASC (0,5 million de dollars) et Sécurité publique Canada. Les clients de l'industrie privée sont variés, depuis des entreprises naissantes dans le centre d'incubation du CRC jusqu'à de grandes sociétés multinationales.

L'offre de services du CRC est variée. Le MDN constitue peut-être l'exemple le plus remarquable en raison de sa contribution financière au CRC. L'organisme de recherche pour la défense fait appel au CRC pour élaborer des communications sans fil à la fine pointe pour les Forces canadiennes en cas de déploiement aux fins de surveillance à distance. Le CRC offre également des avis impartiaux pour ce qui est des constatations scientifiques, des solutions techniques et de la délivrance de licences de propriété intellectuelle. Même si l'on peut dégager des solutions des recherches actuelles et antérieures, d'autres demandes requièrent des recherches et des essais plus approfondis ainsi que la passation d'un contrat à plus long terme avec le client.

Le sondage auprès des clients a révélé que la majorité des clients estimaient que le travail effectué par le CRC pour leur organisme leur procurait de véritables avantages, 91,2 % les qualifiant de très bons ou d'excellents. Il importe de noter qu'aucun client n'a signalé n'avoir obtenu aucun avantage.

À l'instar du sondage auprès des clients, les entrevues réalisées aux fins de la présente évaluation indiquent que les clients du CRC tirent généralement parti de la recherche du CRC. Au nombre de ces avantages, mentionnons prendre des décisions sur la base d'excellents conseils impartiaux, efficaces et économiques qu'ils n'auraient pu obtenir autrement. Les clients du gouvernement ont indiqué que les conseils et la recherche du CRC leur permettaient de prendre des décisions judicieuses au plan stratégique et réglementaire, décisions qui sont réputées reposer sur des preuves crédibles, ce qui facilite l'atteinte des résultats stratégiques de leur organisation. Les clients du secteur privé signalent que le transfert de technologie et les conseils technologiques leur confèrent un avantage concurrentiel.

Industrie Canada tire d'autres avantages de sa relation avec le CRC : le plus pertinent pour le STIT étant sans doute la réalisation de recherches sans contraintes en vue de permettre au CRC de fournir au STIT des avis techniques spécialisés et impartiaux à mesure que se font de nouvelles découvertes. Contrairement à d'autres clients qui peuvent généralement confier au CRC la réalisation d'un projet distinct ou d'un objectif particulier^{Note de bas de page 26}, le STIT n'est pas toujours capable de formuler ses besoins stratégiques suffisamment d'avance pour que soit effectuée la recherche nécessaire : selon une analyse documentaire, une grande partie de la recherche en TIC peut prendre jusqu'à dix ans avant de se concrétiser^{Note de bas de page 27}.

Il est donc difficile pour le CRC de remplir son rôle. Les entrevues clés avec la haute direction du CRC et d'Industrie Canada ont révélé que le CRC hiérarchise maintenant davantage les besoins du STIT que par le passé. Il subsiste toutefois certains problèmes, en ce sens que le STIT doit établir ses besoins en recherche des années à l'avance pour disposer des résultats au moment voulu, et il éprouve de la difficulté à le faire. Il arrive que le CRC ait déjà la réponse par suite de recherches effectuées pour le secteur privé ou d'autres ministères. Le CRC offre également au STIT toute une gamme de services techniques qui aident le secteur à gérer le spectre de manière continue et plus formelle.

Les compétences et l'expertise exceptionnelles du personnel constituent la principale raison pour laquelle les clients choisissent de travailler avec le CRC. Vient ensuite l'importante incidence de la contribution du CRC au travail d'une personne ou d'un organisme, suivi de la qualité des résultats du CRC, comme on peut le constater dans le tableau 7 ci-dessous.

Les groupes d'experts ont également constaté l'utilité du CRC pour ses intervenants et ont souligné le transfert de technologies, l'expertise et l'expérience du personnel ainsi que la réputation internationale du CRC comme organisme contribuant grandement et positivement à l'avancement des TIC au Canada.

Malgré les nombreux avantages que procure aux clients l'attribution de travaux de recherche au CRC, selon les multiples sources de données, les clients ne pensent pas avoir tiré pleinement parti des capacités de l'organisme et sont d'avis qu'une fonction de développement des affaires accroîtrait leur capacité d'exploiter tout ce que le CRC a à offrir : les entrevues clés ont souligné ce besoin, et l'une des personnes interrogées a réclamé une « courroie de transmission entre les chercheurs et les utilisateurs », tandis que d'autres ont cerné le besoin de mieux comprendre ce que le CRC avait à offrir sur le plan technologique. Dans le sondage auprès des clients, la fonction de développement des affaires/prospection de clients constituait le deuxième ajout le plus souvent demandé aux services actuels du CRC dans le champ « commentaires »^{Note de bas de page 28}. L'ajout le plus demandé : le renforcement de la capacité dans la discipline propre au client répondant au sondage.

Les groupes d'experts ont également fait valoir cette notion, en demandant à l'unanimité un soutien commercial additionnel aux clients par l'intermédiaire d'un champion de l'exploitation commerciale ou d'une fonction renforcée de développement des affaires^{Note de bas de page 29}. Ce rôle (ou ces rôles) offrirait non seulement un moyen d'avoir une clientèle et d'engendrer des revenus pour les technologies et la propriété intellectuelle du CRC, mais aiderait également les chercheurs en mettant à jour les besoins dans les domaines d'activité des clients (qu'il s'agisse de l'industrie, du secteur militaire, d'organismes de réglementation ou d'autres secteurs).

Même si les clients remboursent le CRC pour le travail effectué, il n'a pas été possible, dans le cadre de la présente évaluation, de déterminer si les frais facturés aux clients étaient adéquats. Le CRC ne dispose actuellement d'aucun système de comptabilisation du temps pour les chercheurs, ni de mécanisme officiel pour s'assurer que le coût prévu a été respecté à mesure que les travaux progressent et sont menés à bien. L'examen des laboratoires de recherche fédéraux a révélé que d'autres laboratoires font un suivi du temps que leur personnel consacre à divers projets à des fins de recouvrement des coûts et de gestion. Bien que les contrats de recherche d'autres ministères aient rapporté 7,7 millions de dollars sur les 31 millions de dollars consacrés par le CRC à la recherche en 2010-2011, qu'un montant additionnel de 0,6 million de dollars ait été investi par le secteur privé et que le CRC ait tiré des recettes de 1,4 million de dollars de ses titres de propriété intellectuelle, il serait utile de comprendre la vraie valeur des services fournis.

3.2.4 Dans quelle mesure le CRC fait-il preuve d'efficacité dans ses opérations?

Cette question a été répartie en trois sous-sections aux fins de la présente analyse :

• Opérations du campus
• Services spécialisés internes
• Activités de recherche

Opérations du campus

La Direction des opérations du campus du CRC est l'instance chargée de surveiller l'entretien et le développement du campus de Shirleys Bay. Avec un budget prévu d'environ 14,5 millions de dollars pour l'exercice 2011-2012, l'organisme gère cinq dépenses primaires associées à ce travail, exposées au tableau 8.

Les principaux coûts partagés par tous les ministères sont les services publics (eau, égout, électricité et carburant), les services d'urgence et de sécurité, la gérance du campus et la gestion immobilière. Le coût de tout agrandissement ou projet de construction majeur entrepris par un locataire, y compris les frais administratifs et généraux, est recouvré conformément aux contrats de location en place.

Les occupants de Shirleys Bay sont propriétaires de leurs bâtiments et sont responsables du financement relatif à leur entretien. Des 111 bâtiments permanents et temporaires du site, 47 appartiennent aux occupants et 24 sont occupés par des locataires et le CRC. Le CRC occupe à lui seul 40 bâtiments (soit 46 % des bâtiments du campus) et s'acquitte de 46,3 % de l'ensemble des coûts.

Selon l'analyse documentaire, le CRC n'a pas toujours maximisé son recouvrement des coûts. Toutefois, il a modifié ses politiques concernant les locataires et recouvre maintenant tous les coûts qu'il peut recouvrer conformément aux politiques du Conseil du Trésor. Ces coûts recouvrés l'aident à payer l'entretien et la maintenance du campus, mais ne permettent pas de répondre aux besoins en projets immobiliers de plus grande envergure qui seront requis au fil du temps.

Le campus de Shirleys Bay vieillit et plusieurs problèmes se rapportant à l'état des bâtiments du CRC et du campus en général se manifestent. En fait, le CRC a recensé 11 projets immobiliers se rapportant à la santé et à la sécurité qui doivent être menés à bien pour réduire les risques, dont la modernisation du système de distribution du chauffage et de la climatisation, la plomberie intérieure et les systèmes électriques. Dans la présente évaluation, on a constaté que le CRC envisageait plusieurs options pour rectifier la situation puisque les fonds requis ne peuvent être obtenus au moyen des politiques de recouvrement des coûts en place.

Les entrevues clés ont révélé que la gestion du campus préoccupe clairement la haute direction de l'organisme, qui est principalement chargée de surveiller la recherche. La question a souvent été soulevée pendant les entrevues, même si elle n'était pas évoquée dans les questions d'évaluation. Au cours de cette évaluation, on a observé que certains cadres supérieurs devaient se pencher sur des incidents relatifs à la santé et à la sécurité survenus sur le campus, ce qui réduit le temps dont ils disposent pour gérer les questions se rapportant à la recherche.

Dans les entrevues, la plupart des gestionnaires du CRC ont indiqué que le fait de devoir gérer le campus du CRC ne constituait pas le modèle de gouvernance optimal. La préoccupation qu'ils ont la plus mentionnée : la réaffectation de fonds du programme de recherche à des projets de réfection de l'infrastructure. Certains gestionnaires du CRC ont également indiqué qu'Industrie Canada ne disposait pas d'une grande capacité de gestion immobilière et que le campus serait mieux entretenu et le budget de l'organisme de recherche plus stable si Shirleys Bay était géré par un organisme externe. Dans le cadre d'une entrevue clé, un répondant a indiqué qu'il serait préférable d'améliorer la capacité interne et les pouvoirs connexes de régler les problèmes qui se posent. Il ressort néanmoins des entrevues une tension entre le mandat de propriétaire-locateur du CRC et sa mission première de centre de recherche fédéral. Cette tension détourne l'attention du CRC de sa mission de recherche fondamentale, qui devrait être la priorité absolue de l'organisme.

Le modèle de gouvernance en place au CRC pourrait être compromis si les projets proposés d'améliorer l'état des bâtiments et de l'infrastructure du campus n'allaient pas de l'avant. Tant que les problèmes actuels ne seront pas réglés, il est peu probable qu'un autre organisme accepte d'agir à titre de propriétaire-locateur du campus. De plus, les occupants actuels pourraient choisir d'emménager dans des installations plus récentes au lieu de réparer leur infrastructure vieillissante.

Services spécialisés internes

Pour évaluer l'efficacité des services spécialisés internes du CRC, on a réalisé un examen d'autres laboratoires de taille similaire. Un profil des organismes participant à l'examen est présenté au tableau 9^{Note de bas de page 30}.

L'examen portait sur les services spécialisés internes fournis au sein de ces quatre organismes, les coûts associés à la prestation de ces services et la façon dont ces coûts sont gérés (c'est-à-dire par le centre de recherche lui-même ou le ministère fédéral associé).

Dans l'ensemble, l'examen a révélé que tous les centres de recherche avaient des fonctions de services spécialisés internes comparables, à quelques exceptions près^{Note de bas de page 31}. Toutefois, il existait des différences dans la façon dont ces services étaient fournis, le fournisseur des services et la façon dont ils étaient financés. Dans certains cas, plusieurs fonctions étaient regroupées en une seule unité; dans d'autres, elles étaient centralisées à l'administration centrale du ministère sans qu'il n'en coûte rien au centre de recherche. Dans d'autres cas encore, certaines fonctions étaient centralisées, mais payées par le centre de recherche en fonction de leur utilisation. Le tableau 10 indique là où des services spécialisés internes similaires étaient offerts au sein des organismes de recherche.

Des quatre centres de recherche, seul le Centre A offrait des services équivalents à ceux du CRC gérés à l'interne, mais il a fusionné quatre services en deux unités comptant le même nombre d'ETP tout en leur confiant plusieurs rôles. Le Centre B offrait également les mêmes services spécialisés internes que le CRC. Toutefois, deux fonctions (Ressources humaines et Finances) étaient centralisées, le centre de recherche payant pour tout service fourni. De plus, le centre avait fusionné deux fonctions en une seule unité. Les centres C et D utilisaient les services spécialisés internes centralisés dans une plus grande mesure que les autres centres de recherche. Dans ces cas, les fonctions étaient assumées par les administrations centrales des ministères, qui absorbaient tous les coûts connexes.

Selon les entrevues avec ces centres, la centralisation des services constitue un moyen de prestation efficace. En centralisant certains services, les organismes peuvent faire fond sur le savoir-faire et la masse critique au sein de la direction générale du ministère. Ce modèle peut permettre d'éviter certains chevauchements entre le centre de recherche et la fonction interne du ministère, réduire la dépendance à l'égard d'employés particuliers, et permettre aux centres de recherche de se concentrer principalement sur la recherche.

En ce qui a trait à l'évaluation de l'efficacité des activités spécialisées internes, on a utilisé un indicateur qui ventile en pourcentages les ressources consacrée à la recherche par rapport aux ressources consacrées au soutien interne. La figure 2^{Note de bas de page 33} présente un résumé de la ventilation en pourcentages.

Figure 2: Tableau comparatif de la ventilation en pourcentages des dépenses de recherche et de services spécialisés internes d'organismes comparables (2011-2012)

La ventilation en pourcentages révèle que le CRC consacre relativement plus de ressources que les autres centres aux activités spécialisées internes à l'appui de la recherche. On peut expliquer en partie cette allocation plus élevée au fait que le CRC assume la responsabilité additionnelle d'offrir des services spécialisés internes liés aux opérations du campus. Ceci dit, les centres A et B réalisent une partie de leurs gains d'efficience en regroupant des fonctions dans des unités ou en confiant certaines fonctions à leur ministère d'attache. Vu la nature du travail au Centre C, certaines fonctions spécialisées internes sont inutiles (services de création visuelle et développement des affaires) et certains services sont centralisés et fournis sans frais au centre de recherche. Dès lors, le pourcentage alloué aux services spécialisés internes est sous-évalué.

Tandis que la centralisation et le regroupement des fonctions ont aidé certains organismes de recherche à optimiser leur efficience, certains facteurs sont propres au CRC. Par exemple, le Bureau de transfert de technologie du CRC gère tous ses brevets, y compris les brevets des réseaux de Bragg à fibres optiques qui ont joué un rôle important dans la réussite du CRC par rapport à des laboratoires similaires dans le monde^{Note de bas de page 35}. Même si l'examen d'autres centres de recherche a révélé que la fonction de transfert de technologie est parfois assumée par le ministère responsable, le CRC a un besoin unique à cet égard qui justifie une unité distincte. Il serait toutefois prudent que le CRC surveille le niveau d'activité du Bureau puisque les brevets américains et canadiens des réseaux de Bragg à fibres optiques expireront au cours de l'année civile 2012, ce qui aura peut-être une incidence importante sur les activités de l'unité et les besoins subséquents du CRC.

Par ailleurs, en ce qui concerne la fonction de développement des affaires/prospection de clients (fonction courante dans les autres centres de recherche), tel que mentionné précédemment dans le rapport, plusieurs sources de données indiquent que le CRC devrait renforcer cette activité en mettant en place une fonction plus spécialisée en mesure d'énoncer clairement ses capacités et ses constatations tout en resserrant sa relation de travail avec le STIT. Une fonction centralisée ne comblerait peut-être pas les besoins particuliers du CRC ou de ses clients dans ce domaine.

Enfin, tout changement apporté à un centre de recherche en ce qui concerne les services spécialisés internes doit tenir compte des risques associés à une réduction de la proportion de fonds consacrés aux activités internes. Selon les personnes interrogées, les études antérieures ont montré que la réduction de la fonction intégrée au-delà d'une certaine masse critique peut imposer un fardeau supplémentaire aux équipes de recherche pour qu'elles fassent ce travail, ce qui les détourne de leurs responsabilités principales. Même s'il pourrait y avoir des gains d'efficience opérationnelle, des réductions trop draconiennes du soutien interne pourraient se solder par des pratiques non efficientes.

Activités de recherche

Dans l'ensemble, les groupes d'experts ont indiqué que la structure organisationnelle de la fonction de recherche au CRC découlait de précédents historiques et d'une attribution dorénavant désuète des responsabilités, au lieu de refléter davantage les rapports entre les technologies qu'il utilise aujourd'hui (et vers lesquelles se dirige la recherche du CRC). Au cours de l'évaluation, le CRC s'employait à moderniser sa structure organisationnelle et de gestion.

L'examen des autres laboratoires effectué dans le cadre de l'évaluation a révélé que d'autres laboratoires gèrent leurs activités de recherche quelque peu différemment du CRC. Par exemple, les organismes ont informé les évaluateurs qu'ils disposaient de manuels de procédures détaillés qui normalisaient et simplifiaient la gestion de projets, permettant ainsi aux équipes de recherche de mener leurs projets plus efficacement. Un organisme détenait une certification ISO, ce qui témoigne de pratiques exemplaires en gestion de projets. Au moment de l'évaluation, on n'a pas observé que le CRC avait de tels processus en place.

Plusieurs sources de données ont mis en relief le meilleur mécanisme de modernisation et de renouvellement de la recherche, soit les examens spécialisés : l'Examen du Centre de recherches sur les communications de 2009 recommandait la création de groupes d'experts comme indicateur de rendement, et l'examen d'autres laboratoires a révélé qu'il est courant dans d'autres centres de recherche fédéraux d'évaluer régulièrement la recherche pour voir si elle cadre avec les objectifs stratégiques, les priorités ministérielles et les besoins des intervenants. Qui plus est, les groupes d'experts constitués dans le cadre de cette évaluation réclament davantage d'examens périodiques de la fonction de recherche.

On a observé pendant l'évaluation que les programmes de recherche du CRC étaient fort cloisonnés. Même si dans le sondage, les gestionnaires ont indiqué qu'il y avait une certaine collaboration entre les groupes de chercheurs, les groupes d'experts ont fait remarquer que l'on pourrait réaliser des gains d'efficacité si certains programmes de recherche collaboraient plus étroitement.

Par exemple, un groupe a constaté que plusieurs programmes de recherche travaillaient à des éléments de la radio cognitive, mais qu'il ne semblait pas y avoir d'effort concerté au sein de l'organisme. Un autre groupe a observé qu'un programme de recherche en particulier présente un intérêt du fait qu'il mène des activités à l'appui des décisions entourant l'utilisation efficace du spectre et des nouvelles bandes de fréquences au sein du STIT. Cependant, le programme n'effectuait pas de véritable recherche et n'était pas en mesure d'aider l'industrie à concevoir et faire homologuer des produits. Pour tirer parti du potentiel non exploité de cette équipe, le groupe a recommandé que l'équipe du programme soit fusionnée avec une équipe davantage axée sur la recherche pour rationaliser les activités qu'elles ont en commun et de combler leurs besoins conjoints.

Les groupes ont aussi remarqué que les équipes très performantes peuvent renforcer leur capacité en unissant leurs efforts. Par exemple, un groupe a recensé deux programmes qui font office de bancs d'essai et élaborent respectivement des prototypes et des démonstrations de systèmes sans fil et satellitaires. On a proposé de fusionner ces deux groupes pour que le nouveau groupe ait une plus grande influence en tant que centre d'« élaboration de démonstrations » ou d'« applications ».

Les groupes ont également constaté que le partage des actifs et de l'équipement entre les groupes de recherche pourrait engendrer des gains d'efficacité. Par exemple, ils ont remarqué, d'après les listes d'équipement fournies par les 18 groupes examinés, que le CRC possède un parc de 20 véhicules automobiles équipés (incluant des véhicules utilitaires sports, des véhicules tous terrains et des fourgonnettes) pour faire des mesures sur le terrain, établir les caractéristiques de transmission et compiler d'autres données. En outre, une demande d'investissement supplémentaire importante pour l'acquisition de véhicules a été présentée au moment de l'examen. Le groupe a indiqué qu'il était possible de réaliser de plus grandes économies en partageant davantage les ressources, comme les véhicules.

Il convient également de noter les gains d'efficacité éventuels pouvant résulter de l'utilisation d'installations d'autres organismes de recherche. Par exemple, un groupe a constaté que le laboratoire David Florida de l'ASC sur le campus de Shirleys Bay offre des installations de mise à l'essai d'antennes qui pourraient être utiles au CRC. Par ailleurs, un groupe a également constaté que le Conseil national de recherches du Canada (CNRC) avait récemment effectué un investissement dans l'électronique imprimée et qu'il serait plus efficace d'établir une relation de collaboration avec le CNRC que d'investir un gros montant dans ce domaine.

4.0 Conclusions et recommandations

Voici un résumé des principales conclusions dégagées durant l'évaluation. Une série de recommandations est présentée en vue d'améliorer la capacité du CRC à atteindre ses objectifs.

4.1 Conclusions

En ce qui concerne la pertinence, il ressort ce qui suit de l'évaluation :

• Le CRC joue toujours un rôle utile; cependant, certains programmes ne répondent plus aussi bien que par le passé aux besoins de l'organisme.
• L'action du CRC est alignée sur les priorités du gouvernement fédéral. Dans le passé, les gestionnaires des programmes de recherche disposaient d'une large marge de manœuvre dans l'interprétation des activités qui cadraient avec les priorités du gouvernement. Un récent exercice de planification stratégique du CRC auquel le STIT a participé pourrait bien changer la situation au fil du temps, mais ses effets ne se sont pas encore fait sentir au niveau opérationnel.
• L'action du CRC est alignée sur les rôles et les responsabilités du gouvernement fédéral.

En ce qui concerne le rendement, il ressort ce qui suit de l'évaluation :

• Le CRC effectue du travail de calibre mondial. Il existe très peu de zones d'activité dans les programmes de recherche qui ne respectent pas la norme d'excellence élevée de l'organisme.
• En l'absence d'un modèle logique, il est difficile de déterminer si le CRC atteint les résultats attendus. Certaines données probantes montrent que, bien que le CRC progresse dans l'atteinte des objectifs formulés, le programme doit améliorer ses mesures de rendement.
• Selon plusieurs sources de données, les clients profitent des conseils impartiaux du CRC pour ce qui est des constatations scientifiques, des solutions techniques et de la délivrance de licences de propriété intellectuelle. Toutefois, il s'impose de renforcer la fonction de développement des affaires/prospection de clients.
• Comme il n'existe pas à l'heure actuelle de système de comptabilisation du temps des chercheurs, il est impossible de suivre les dépenses et l'utilisation des ressources de chaque projet de recherche et, partant, difficile de déterminer le coût réel des services fournis aux clients. De tels systèmes sont utilisés dans d'autres centres de recherche du gouvernement fédéral.
• Le modèle de gouvernance du CRC est conforme aux politiques du Conseil du Trésor et l'organisme maximise le recouvrement des coûts. Toutefois, le modèle de gouvernance n'est pas optimal car il détourne l'attention de l'organisme de sa mission de recherche. De plus, le campus requiert des investissements considérables pour régler des problèmes croissants en matière de santé et de sécurité qui pourraient compromettre le modèle de gouvernance.
• Les dépenses de fonctionnement sont relativement élevées par rapport à celles d'autres centres de recherche fédéraux. Toutefois, certains services spécialisés internes de l'organisme servent à appuyer les services aux occupants-locataires. Le CRC pourrait réaliser des économies dans ses dépenses de fonctionnement si certaines fonctions étaient regroupées, centralisées ou imparties à contrat.
• L'efficacité des activités de recherche au CRC n'est pas optimale, principalement en raison d'une structure organisationnelle qui repose sur des précédents historiques et une attribution dorénavant désuète des responsabilités.

4.2 Recommandations

Des conclusions de l'évaluation se dégagent les recommandations suivantes :

1. Le CRC devrait améliorer son rendement à l'interne et s'adapter aux réalités modernes de la recherche en TIC au sein du gouvernement.
   1. Prendre en compte les recommandations des groupes d'experts, en particulier celles qui portent sur les zones de chevauchement, les inefficacités et les domaines d'importance stratégique moindre pour l'organisme.
   2. Trouver des solutions plus efficaces pour les services spécialisés internes.
   3. Examiner les axes de recherche à intervalles réguliers pour en déterminer l'excellence, la pertinence et l'incidence.
   4. Continuer à travailler à un modèle de gouvernance centrant l'action de l'organisme sur son mandat de recherche.
2. Le CRC devrait améliorer le suivi de l'utilisation des ressources qu'il consacre à la recherche et au travail pour le compte de clients.
   1. Les chercheurs devraient comptabiliser le temps qu'ils consacrent à chacun de leurs projets pour déterminer le coût réel des services aux clients et assurer une facturation adéquate.
   2. Des systèmes devraient être mis en place pour assurer la production de rapports sur les activités axées sur les clients par programme de recherche.
3. Pour mieux faire connaître ses capacités, le CRC devrait renforcer ses relations avec les clients/entreprises. Il faudrait envisager ce qui suit :
   1. définir clairement et promouvoir les capacités du CRC auprès des clients et des intervenants;
   2. recueillir de l'information commerciale sur les tendances nouvelles et émergentes;
   3. mettre à jour les données du mécanisme de rétroaction des clients au terme de chaque projet de recherche;
   4. jouer officiellement un rôle de catalyseur pour renforcer ses relations de travail avec le STIT.
4. Pour mieux évaluer le rendement de la recherche, le CRC devrait continuer à élaborer des mesures du rendement des extrants et à établir et mesurer les résultats immédiats, intermédiaires et finaux.

Réponse de la direction et plan d'action