Chercheur principal : Viviane Pires Ribeiro
Titre du document : Quand les preuves ne vont pas de soi : l’utilisation et la perception des « preuves » dans les ministères de la République tchèque
Auteurs: Arnošt Veselý, František Ochrana, Martin Nekola
Lieu de l'intervention : République tchèque
Taille de l'échantillon : 1351 questionnaires
Thème principal : Politique économique et gouvernance
Variable principale d'intérêt : Preuve
Type d'interventionAnalyse du rôle des données probantes dans l'élaboration des politiques.
Méthodologie: Recherche avec un grand nombre de participants et des entretiens détaillés.
Le rôle des données probantes dans l'élaboration des politiques publiques est l'un des sujets les plus étudiés en matière de politiques publiques et d'administration publique. Pourtant, étonnamment, peu de recherches ont été menées sur la manière dont les responsables publics utilisent concrètement les données probantes au quotidien. Veselý, Ochrana et Nekola (2018) comblent cette lacune. À partir d'une enquête menée auprès d'un large échantillon de fonctionnaires ministériels tchèques et d'entretiens approfondis, les auteurs analysent la signification du terme « données probantes », les types de données probantes utilisés et privilégiés par les responsables publics, et les raisons de ces choix.
Contexte d'évaluation
L'essor du discours sur la « politique fondée sur les preuves » (PFP) est l'une des tendances les plus marquantes de l'administration et des politiques publiques de la dernière décennie. Bien que la PFP soit un mouvement reconnu, ses définitions varient, allant d'une conception assez restrictive (une méthodologie particulière pour produire un type spécifique de preuves) à une vision plus large et plus englobante de ce qu'elle représente. Si de nombreux gouvernements et praticiens ont manifesté un grand enthousiasme, la PFP a également fait l'objet de critiques et de remises en question pour diverses raisons, notamment parce qu'elle présuppose que les résultats de la recherche peuvent apporter des réponses objectives et, en fin de compte, résoudre des problèmes intrinsèquement politiques.
Malgré toutes ces critiques, de nombreuses initiatives et de nombreux projets visant à « combler le fossé entre politique et recherche » ont été menés, notamment dans les pays anglo-saxons. Dans ces pays, le discours sur les pratiques fondées sur des données probantes (PFDP) est profondément ancré dans les pratiques de l'administration publique. Par conséquent, dans les pays fortement influencés par ce discours, il semble difficile de remettre en question l'affirmation fondamentale selon laquelle les données probantes doivent être utilisées dans l'élaboration des politiques. Le recours aux données probantes – quelle que soit la signification de ce terme – va de soi.
Le mot « evidence » (preuve) existe en tchèque, mais son sens diffère de celui qu'il a en français. En tchèque, « evidence » dérive du verbe « evidovat », qui signifie « enregistrer ». Ainsi, le mot tchèque « evidence » est généralement associé à d'autres types d'activités, comme le registre de population (Evidence obyvatel) ou le registre électronique des ventes (elektronická Evidence tržeb). Par conséquent, le mot « evidence » est généralement compris comme un « enregistrement », c'est-à-dire une information collectée et stockée de manière centralisée.
Peu de personnes dans l'administration publique, voire dans le milieu universitaire, connaissent le concept de politique fondée sur les preuves (PFP). Il est cependant parfois évoqué. Étant donné qu'en tchèque, le terme « preuve » est associé à l'« enregistrement » (sens très différent de son sens originel en anglais), la PFP est souvent traduite par « politika založená na důkazech », soit littéralement « politique fondée sur les preuves ». Il s'agit là, bien sûr, d'une interprétation assez restrictive de la notion de preuve, car le terme « preuve » ne comprend que les preuves incontestables qui apportent des réponses définitives. Pour éviter cette confusion terminologique, certains auteurs utilisent le terme « poznatky » au lieu d'« évidence », comme c'est le cas pour Veselý, Ochrana et Nekola (2018). Ce concept est plus large et le plus neutre de tous les concepts apparentés. Il peut se traduire par « connaissance », ou plus précisément par connaissance créée par le processus de cognition. Le concept de « poznatky » a une légère connotation avec la recherche (connaissance issue de la recherche), mais il n'y est pas nécessairement associé.
Détails de l'intervention
L'étude menée par Veselý, Ochrana et Nekola (2018) explore la compréhension et l'utilisation des données probantes au sein des ministères tchèques, institutions centrales de l'administration publique. Ce pays constitue une étude de cas intéressante quant à l'utilisation des données probantes dans l'élaboration des politiques publiques. La production et l'utilisation d'informations pertinentes pour les politiques publiques sont une tradition bien ancrée en République tchèque, et les sciences sociales tchèques ont toujours été fortement orientées vers la pratique. De plus, la demande de connaissances scientifiques en matière de politiques publiques a conduit à la création de différents types d'instituts de recherche travaillant directement au service des ministères. Bien que leur nombre et leur impact aient diminué depuis 1989, l'accent mis sur des sciences sociales pertinentes et pratiques a prévalu. Cependant, dans le même temps, l'idée et le discours relatifs aux pratiques fondées sur des données probantes (PFDP) n'ont jamais véritablement intégré le débat public dans l'administration et l'élaboration des politiques publiques. Peu de personnes au sein de l'administration publique connaissent le concept de PFDP. Aucune initiative ni aucun projet n'ont été mis en œuvre pour intégrer davantage de données probantes dans l'élaboration des politiques et la prise de décision au sein de l'administration publique, et l'utilisation des résultats de la recherche dans ce domaine semble demeurer assez limitée. De plus, le concept fondamental de « preuve » est difficilement traduisible en tchèque.
Ainsi, Veselý, Ochrana et Nekola (2018) soulèvent des questions classiques relatives à l'utilisation des données probantes dans l'élaboration des politiques publiques au sein des ministères tchèques. Plus précisément, ils se sont interrogés sur les points suivants : qu'est-ce qui est considéré comme une preuve par les responsables publics ? Quel type de données est utilisé ? Quel type de données est jugé important ? Quand et comment les données sont-elles utilisées dans le processus d'élaboration des politiques ? Pour ce faire, les auteurs s'appuient sur quatre courants théoriques qui portent sur différents aspects de l'utilisation des données probantes. Ils examinent dans quelle mesure ces théories, principalement développées dans un contexte où le discours sur les pratiques fondées sur des données probantes (PFDP) est prédominant, peuvent être appliquées dans un contexte où les PFDP sont quasi inexistantes.
Détails de la méthodologie
Pour répondre aux questions de recherche, Veselý, Ochrana et Nekola (2018) ont utilisé des données quantitatives et qualitatives. Concernant les données quantitatives, l'équipe a mené une vaste enquête auprès de fonctionnaires des ministères tchèques entre avril et juillet 2013. Onze ministères ont progressivement accepté de participer à l'enquête. Dans sept d'entre eux, les données ont été recueillies par le biais d'entretiens en face à face : les enquêteurs rencontraient les répondants, leur posaient une série de questions standardisées prédéfinies et consignaient leurs réponses sur un formulaire papier (CAPI) ou via une application informatique (PAPI). Pour deux ministères qui ont préféré participer sans enquêteur, les données ont été recueillies par l'administration au moyen de questionnaires en ligne (CAWI). Dans un ministère, une combinaison des méthodes CAPI et CAWI a été mise en œuvre. Les répondants ont été sélectionnés aléatoirement au sein de chaque échantillon ministériel. Après plusieurs vagues d'échantillonnage aléatoire, tous les individus de chaque échantillon ont été invités à participer. Ainsi, ce qui devait être un échantillonnage aléatoire s'est transformé en un recensement. Au total, 1351 questionnaires remplis ont été obtenus, et le taux de réponse était de 29,4 %.
Les données qualitatives proviennent d'entretiens approfondis menés par les auteurs, portant spécifiquement sur l'utilisation des données probantes. Ces entretiens ont été réalisés d'avril 2016 à mai 2017. Au total, 23 personnes issues de différents ministères tchèques y ont participé. Quatre chercheurs, membres de l'équipe de recherche, ont mené les entretiens en suivant un guide d'entretien standardisé. Les thèmes abordés concernaient la description par les personnes interrogées de leur travail stratégique, leur utilisation des connaissances scientifiques ou autres, ainsi que leur expérience quant à l'utilisation et à la place des données probantes dans le contexte plus large de leur ministère et de l'administration publique. Les entretiens semi-directifs avec les experts ont duré environ une heure et demie à deux heures, ont été enregistrés et des notes de terrain ont été prises. Les enregistrements ont été intégralement transcrits, puis les entretiens ont été codés et analysés par analyse thématique, en mettant l'accent sur les tendances identifiées dans l'utilisation des connaissances à travers différents contextes et phases du processus d'élaboration des politiques.
Résultats
En République tchèque, le recours aux données probantes diffère à bien des égards de celui observé dans les pays où le discours sur les pratiques fondées sur des données probantes est prégnant. Les responsables politiques n'affichent pas un engagement à utiliser les données probantes au sens de « ce qui fonctionne » (sans toutefois s'y opposer). Plus précisément, ils privilégient les données administratives aux preuves scientifiques. En général, ce qui les intéresse, ce ne sont pas les preuves tangibles, mais les éléments de preuve permettant de légitimer des objectifs politiques et de justifier un consensus négocié sur les politiques publiques.
Veselý, Ochrana et Nekola (2018) affirment qu'il est impossible de déterminer avec précision dans quelle mesure ces différences sont dues aux diverses structures de gouvernance en République tchèque et dans quelle mesure elles sont imputables au faible impact du mouvement de la politique fondée sur les données probantes (PFDP) dans le pays. Il est probable que ces deux facteurs soient liés. Tous les interviewés font état d'une instabilité politique relative et de fréquents changements dans le paysage des politiques publiques, ce qui a deux conséquences sur leur travail. Premièrement, ils ressentent une forte pression temporelle, c'est-à-dire la nécessité d'agir très rapidement. Deuxièmement, ils rapportent avoir constaté à plusieurs reprises que des politiques et des stratégies ne sont pas mises en œuvre en raison de changements de personnel à la tête des ministères. Cette pression temporelle incite les fonctionnaires à rechercher et à préparer des documents facilement compréhensibles. Les interviewés qui ont travaillé sur un document de politique resté inachevé, abandonné, voire retiré du processus décisionnel gouvernemental suite à un changement de ministre ou de vice-ministre, se disent moins motivés pour tout travail complexe et toute analyse de données. Ceci s'ajoute à une faible pression interne (au sein d'un ministère donné) pour utiliser des données probantes dans les processus d'élaboration des politiques, ce qui ne modifie que lentement la culture générale des ministères.
De nombreux points communs ont été relevés avec les résultats d'autres pays. Notamment, les responsables publics utilisent différents types de données probantes et appliquent leurs propres critères pour déterminer ce qui constitue une preuve et ce qui est « utile ». Autrement dit, ils utilisent des sources de données très diverses, mais les données produites par d'autres responsables (ou pour des responsables) sont utilisées plus fréquemment. De manière générale, les quatre courants théoriques semblent pertinents pour formuler des hypothèses sur l'utilisation des données probantes, même en l'absence de pratique fondée sur les données probantes.
Leçons de politique publique
Bien que la formation des fonctionnaires et des universitaires ne diffère pas fondamentalement, leur discours et leur vocabulaire, ainsi que les critères d'évaluation des preuves, varient. L'étude de Veselý, Ochrana et Nekola (2018) suggère ainsi le rôle important des experts, ou « intermédiaires du savoir », qui font le lien entre le monde scientifique et le monde pratique. Toutefois, des recherches plus approfondies sont nécessaires pour identifier précisément ces intermédiaires et comprendre leur fonctionnement.
De plus, l'analyse suggère que le récent mouvement visant à contextualiser l'analyse de l'utilisation des données probantes est très prometteur. L'utilisation et la compréhension des données probantes sont fortement influencées par les pratiques quotidiennes des responsables politiques, ainsi que par leur environnement social immédiat. L'utilisation des données probantes est indissociable du processus politique dans lequel elle s'inscrit. Les responsables politiques souhaitent des recherches qui les « aident dans leur travail ». Or, la nature de cette aide dépend de l'étape du processus politique et de leurs attentes. Conjuguée à l'importance récemment accordée au type de connaissances et de données probantes, cette approche pourrait constituer une piste de recherche très prometteuse.
Références
VESELÝ, Arnošt; OCHRANA, František; NEKOLA, Martin. Quand les preuves ne sont pas considérées comme acquises : l’utilisation et la perception des « preuves » dans les ministères de la République tchèque. Réseau d'instituts et d'écoles d'administration publique d'Europe centrale et orientale. Revue NISPAcee d'administration et de politique publiques, v. 11, non. 2, p. 219-234, 2018.
