La science de la mise en œuvre : Étape d’évaluation

La notion d’évaluation de la mise en œuvre ( éditer | modifier la source )

Le terme évaluation est associé à de nombreuses significations et mythes, ce qui entraîne une certaine confusion, des craintes et une résistance malgré ses avantages.

L’évaluation implique tous les éléments suivants :

• Recueillir des informations fiables et valides de manière systématique auprès de toutes les parties prenantes de l’intervention
• Attribuer une valeur au processus de mise en œuvre de l’intervention et aux stratégies ou résultats du processus de mise en œuvre
• Éclairer la prise de décision concernant les futures interventions de réadaptation

L’épine dorsale de toute évaluation de mise en œuvre est d’avoir un objectif d’évaluation clair et des questions d’évaluation directes, pertinentes et auxquelles il est possible de répondre, qui sont alignées sur les approches et les méthodes d’évaluation. Les évaluations sont généralement associées au jugement de l’efficacité du processus de mise en œuvre, mais elles peuvent également éclairer les décisions relatives au processus de mise en œuvre et aux résultats de ce dernier.⁽¹⁾

L’évaluation de la mise en œuvre et les défis contextuels( éditer | modifier la source )

« Qu’est-ce qui affectera ce que vous mettez en œuvre ? » Pour vous rafraîchir la mémoire, veuillez consulter cet article qui passe en revue les multiples facteurs susceptibles d’affecter la mise en œuvre réussie des interventions de réadaptation fondées sur des données probantes.

Il est facile de se laisser submerger par la quantité croissante d’informations entourant les multiples défis contextuels à la mise en œuvre des interventions de réadaptation. Il est donc utile d’utiliser une approche plus globale pour évaluer les facteurs contextuels qui ont une influence sur les résultats d’une mise en œuvre particulière. L’encadré 10 présente plusieurs questions clés dans l’évaluation du processus de mise en œuvre. ⁽¹⁾ Vous trouverez ce même encadré en français dans la transcription de la vidéo L’évaluation, partie 1.

Exemples de cadres d’évaluation de la science de la mise en œuvre (en anglais) qui peuvent identifier les obstacles et les facilitateurs des principaux résultats de la mise en œuvre :

• Consolidated Framework for Implementation Research (CFIR) ⁽²⁾
• Theoretical Domains Framework (TDF) ⁽³⁾
• Integrating Promoting Action on Research Implementation in Health Services (I-PARIHS) ^{(4) (5)}
• Exploration, Preparation, Implementation and Sustainment (EPIS)

Il existe de nombreux autres cadres d’évaluation qui sont utilisés de manière cohérente pour évaluer l’efficacité des interventions de réadaptation fondées sur des données probantes. Ce type de cadre inclut :

• Le cadre RE-AIM ( Reach, Effectiveness, Adoption, Implementation, Maintenance ) ^{(6) (7)}utilisé pour évaluer le succès de la mise en œuvre et l’impact de l’application de la recherche aux conditions du « monde réel ».
• Le modèle de planification et d’évaluation des programmes de santé  » Precede-Proceed « . ⁽⁸⁾

L’évaluation de la mise en œuvre et les stratégies de mise en œuvre ( edit | edit source )

“Qu’est-ce qui aidera ce que vous mettez en œuvre ?” Pour vous rafraîchir la mémoire, veuillez consulter cet article qui passe en revue les multiples stratégies de mise en œuvre favorisant la réussite de la mise en œuvre d’interventions de réadaptation fondées sur des données probantes. ⁽¹⁾

Les cinq catégories de stratégies de mise en œuvre :

1. Stratégies du processus de mise en œuvre
2. Stratégies de diffusion
3. Stratégies d’intégration
4. Stratégies de renforcement des capacités
5. Stratégies de mise à l’échelle

Il est facile de se sentir dépassé par toutes ces stratégies de mise en œuvre. Il est donc utile d’utiliser une approche plus globale pour évaluer leur influence sur les résultats d’une stratégie de mise en œuvre particulière. L’encadré 11 présente plusieurs questions clés dans l’évaluation des stratégies de mise en œuvre. ⁽¹⁾ Vous trouverez ce même encadré en français dans la transcription de la vidéo L’évaluation, partie 1.

Évaluer les résultats de la mise en œuvre ( éditer | source d’édition )

Il est important de reconnaître qu’une question non résolue dans le domaine de la science de la mise en œuvre est de savoir comment évaluer l’efficacité de la mise en œuvre des interventions fondées sur des preuves. La distinction entre l’efficacité de la mise en œuvre et l’efficacité de l’intervention est essentielle pour faire passer les interventions du laboratoire au monde réel ou à la communauté. Lorsque de tels efforts échouent, il est important de savoir si l’échec est dû à l’inefficacité de l’intervention dans le nouveau contexte (échec de l’intervention) ou à la mise en œuvre incorrecte d’une bonne intervention (échec de la mise en œuvre).⁽¹⁾

Les résultats de la mise en œuvre font référence aux effets des stratégies de mise en œuvre délibérées visant à adopter et à intégrer de nouvelles interventions, de nouveaux programmes ou de nouvelles pratiques dans des contextes réels de réadaptation. ⁽¹⁾

Trois groupes de résultats de la mise en œuvre ont été suggérés : ^(9)(10)

1. Les résultats de la mise en œuvre – effets des stratégies de mise en œuvre d’une nouvelle intervention, tels que l’acceptabilité, l’adoption, la pertinence, l’assimilation, la faisabilité, la fidélité, le coût de mise en œuvre, la pénétration et la durabilité des interventions de réadaptation fondées sur des données probantes.
2. Les résultats du système de services – effets des interventions sur les résultats des services tels que : l’efficience, la sécurité, l’efficacité, l’équité, le focus sur le patient et la rapidité des interventions de réadaptation fondées sur des données probantes.
3. Les résultats pour le patient – effets de l’intervention sur les résultats pour le patient tels que : les changements dans la satisfaction du patient, sa fonction ou sa symptomatologie suite aux interventions de réadaptation basées sur des preuves.

Il est essentiel de mesurer les résultats de la mise en œuvre en plus des résultats pour les patients ou du système de services afin de distinguer les programmes efficaces ou inefficaces qui sont bien ou mal mis en œuvre. Bien qu’il soit essentiel de se concentrer sur les trois groupes de résultats de la mise en œuvre, cet article se concentrera principalement sur les résultats de la mise en œuvre. ⁽¹⁾ L’encadré 12 présente les définitions des dimensions des résultats de la mise en œuvre, adaptées de Proctor et al. ⁽⁹⁾ Vous trouverez ce même encadré en français dans la transcription de la vidéo L’évaluation, partie 2.

Étant donné que huit résultats de mise en œuvre doivent être identifiés, il peut être difficile de savoir comment et quelle dimension de résultat choisir. Plusieurs facteurs doivent être pris en compte lors du choix des résultats de mise en œuvre à évaluer : ⁽¹⁾

• Les obstacles observés spécifiques à la mise en œuvre
• La nouveauté de la pratique fondée sur des données probantes que vous essayez de mettre en œuvre
• Le contexte dans lequel se déroule la mise en œuvre
• Les ressources et la qualité de la formation habituelle pour la mise en œuvre

Le stade de mise en œuvre et votre unité d’analyse peuvent également avoir un impact. Par exemple, il peut être plus approprié d’étudier l’acceptabilité au début de la mise en œuvre et de mesurer la durabilité plus tard dans le processus de mise en œuvre.⁽¹⁾

La fidélité de la mise en œuvre ( éditer | modifier la source )

Fidélité se traduit par  » loyauté  » ; ainsi, la fidélité de l’intervention signifie la mise en œuvre fidèle et correcte des composants clés d’une intervention définie. Sans une telle évaluation, il est impossible de déterminer si un manque d’impact est dû à une mauvaise mise en œuvre ou à des insuffisances inhérentes à l’intervention dans le contexte réel. La pratique fondée sur les preuves suppose également qu’une intervention est mise en œuvre en totale conformité avec ses détails publiés. Ceci est particulièrement important étant donné le plus grand potentiel d’incohérences dans la mise en œuvre d’une intervention dans le monde réel plutôt que dans des conditions expérimentales. La pratique fondée sur les preuves nécessite un moyen d’évaluer si l’intervention est effectivement mise en œuvre comme l’ont prévu les concepteurs.⁽¹⁾

La fidélité de la mise en œuvre peut être décrite en termes de trois éléments clés qui doivent être mesurés, notamment :

1. L’adhésion à une intervention – si une intervention est mise en œuvre comme elle a été conçue ou écrite en ce qui concerne le contenu de l’intervention, l’exposition ou la dose de l’intervention reçue par les participants
2. La complexité de l’intervention – les interventions complexes sont plus susceptibles de varier dans leur mise en œuvre et sont donc plus vulnérables à une ou plusieurs composantes qui ne seraient pas correctement mises en œuvre
3. Les stratégies de facilitation – fourniture de manuels, de lignes directrices, de formations, de suivi et retour d’information, de renforcement des capacités et d’incitations :
   • La qualité de l’exécution fait référence à la manière dont un praticien, un administrateur ou un bénévole exécute une intervention
   • La réactivité des participants mesure à quel point les participants répondent ou sont engagés par une intervention

Il est facile de se sentir dépassé par le grand nombre d’éléments qui peuvent influencer la fidélité de la mise en œuvre. Il est donc utile d’utiliser une approche plus globale pour évaluer l’influence sur les résultats de la fidélité de la mise en œuvre. L’encadré 13 présente plusieurs questions clés pour l’évaluation des résultats de la mise en œuvre (fidélité). ⁽¹⁾ Vous trouverez ce même encadré en français dans la transcription de la vidéo L’évaluation, partie 2.

Résumé(edit | edit source)

Compte tenu des multiples défis que pose la mise en œuvre des interventions de réadaptation, il est important de réfléchir et d’évaluer à la fois le processus de mise en œuvre et les résultats de ce processus. Afin d’informer les futurs efforts de facilitation de la mise en œuvre, il est important de savoir non seulement ce qui a fonctionné, mais aussi comment et pourquoi les stratégies de mise en œuvre sélectionnées ont fonctionné.

Il est important de distinguer l’efficacité de la mise en œuvre de l’efficacité de l’intervention. Étant donné que les résultats de l’efficacité de la mise en œuvre sont multiples, soyez sélectif quant aux résultats de la mise en œuvre à évaluer.

Ressources(edit | edit source)

Vidéo en option :

Veuillez regarder cette vidéo d’environ 20 minutes (en anglais) pour une description détaillée et une comparaison des différents cadres de la science de la mise en œuvre.

⁽¹¹⁾

Lecture recommandée :

• Allen CG, Barbero C, Shantharam S, Moeti R. Is theory guiding our work? A scoping review on the use of implementation theories, frameworks, and models to bring community health workers into health care settings. Journal of public health management and practice: JPHMP. 2019 Nov;25(6):571.
• Keith RE, Crosson JC, O’Malley AS, Cromp D, Taylor EF. Using the Consolidated Framework for Implementation Research (CFIR) to produce actionable findings: a rapid-cycle evaluation approach to improving implementation. Implementation Science. 2017 Dec;12(1):1-2.
• Khadjesari Z, Boufkhed S, Vitoratou S, Schatte L, Ziemann A, Daskalopoulou C, Uglik-Marucha E, Sevdalis N, Hull L. Implementation outcome instruments for use in physical healthcare settings: a systematic review. Implementation Science. 2020 Dec;15(1):1-6.
• Proctor E, Silmere H, Raghavan R, Hovmand P, Aarons G, Bunger A, Griffey R, Hensley M. Outcomes for implementation research: conceptual distinctions, measurement challenges, and research agenda. Administration and policy in mental health and mental health services research. 2011 Mar;38(2):65-76.

Outils supplémentaires de mesure des résultats de la mise en œuvre :

Étant donné la complexité de la réflexion sur la mise en œuvre et de la mesure des résultats, pour des informations plus détaillées sur les instruments de mesure des résultats de la mise en œuvre, veuillez consulter les ressources suivantes :

• Washington University in St. Louis, Institute of Clinical and Translational Sciences: Implementation Outcomes Toolkit
• Implementation Outcome Repository ⁽¹²⁾
• Center for Technology and Behavioral Health: Measures for Implementation Research ⁽⁹⁾

Références(edit | edit source)