La science de la mise en œuvre : Étape d’évaluation

Rédacteur original Stacy Schiurring à partir du cours de Lucio Naccarella

Principaux contributeursStacy Schiurring, Kim Jackson et Jess Bell

La notion d’évaluation de la mise en œuvre ( éditer | modifier la source )

Le terme évaluation est associé à de nombreuses significations et mythes, ce qui entraîne une certaine confusion, des craintes et une résistance malgré ses avantages.

L’évaluation implique tous les éléments suivants :

  • Recueillir des informations fiables et valides de manière systématique auprès de toutes les parties prenantes de l’intervention
  • Attribuer une valeur au processus de mise en œuvre de l’intervention et aux stratégies ou résultats du processus de mise en œuvre
  • Éclairer la prise de décision concernant les futures interventions de réadaptation

L’épine dorsale de toute évaluation de mise en œuvre est d’avoir un objectif d’évaluation clair et des questions d’évaluation directes, pertinentes et auxquelles il est possible de répondre, qui sont alignées sur les approches et les méthodes d’évaluation. Les évaluations sont généralement associées au jugement de l’efficacité du processus de mise en œuvre, mais elles peuvent également éclairer les décisions relatives au processus de mise en œuvre et aux résultats de ce dernier.(1)

L’évaluation de la mise en œuvre et les défis contextuels( éditer | modifier la source )

« Qu’est-ce qui affectera ce que vous mettez en œuvre ? » Pour vous rafraîchir la mémoire, veuillez consulter cet article qui passe en revue les multiples facteurs susceptibles d’affecter la mise en œuvre réussie des interventions de réadaptation fondées sur des données probantes.

Il est facile de se laisser submerger par la quantité croissante d’informations entourant les multiples défis contextuels à la mise en œuvre des interventions de réadaptation. Il est donc utile d’utiliser une approche plus globale pour évaluer les facteurs contextuels qui ont une influence sur les résultats d’une mise en œuvre particulière. L’encadré 10 présente plusieurs questions clés dans l’évaluation du processus de mise en œuvre. (1) Vous trouverez ce même encadré en français dans la transcription de la vidéo L’évaluation, partie 1.

Ces questions d’évaluation du processus de mise en œuvre sont basées sur plusieurs cadres d’évaluation de la science de la mise en œuvre existants, énumérés ci-dessous.

Exemples de cadres d’évaluation de la science de la mise en œuvre (en anglais) qui peuvent identifier les obstacles et les facilitateurs des principaux résultats de la mise en œuvre :

Il existe de nombreux autres cadres d’évaluation qui sont utilisés de manière cohérente pour évaluer l’efficacité des interventions de réadaptation fondées sur des données probantes. Ce type de cadre inclut :

L’évaluation de la mise en œuvre et les stratégies de mise en œuvre ( edit | edit source )

“Qu’est-ce qui aidera ce que vous mettez en œuvre ?” Pour vous rafraîchir la mémoire, veuillez consulter cet article qui passe en revue les multiples stratégies de mise en œuvre favorisant la réussite de la mise en œuvre d’interventions de réadaptation fondées sur des données probantes. (1)

Les cinq catégories de stratégies de mise en œuvre :

  1. Stratégies du processus de mise en œuvre
  2. Stratégies de diffusion
  3. Stratégies d’intégration
  4. Stratégies de renforcement des capacités
  5. Stratégies de mise à l’échelle

Il est facile de se sentir dépassé par toutes ces stratégies de mise en œuvre. Il est donc utile d’utiliser une approche plus globale pour évaluer leur influence sur les résultats d’une stratégie de mise en œuvre particulière. L’encadré 11 présente plusieurs questions clés dans l’évaluation des stratégies de mise en œuvre. (1) Vous trouverez ce même encadré en français dans la transcription de la vidéo L’évaluation, partie 1.

Questions clés dans l’évaluation de la stratégie de mise en œuvre

Évaluer les résultats de la mise en œuvre ( éditer | source d’édition )

Il est important de reconnaître qu’une question non résolue dans le domaine de la science de la mise en œuvre est de savoir comment évaluer l’efficacité de la mise en œuvre des interventions fondées sur des preuves. La distinction entre l’efficacité de la mise en œuvre et l’efficacité de l’intervention est essentielle pour faire passer les interventions du laboratoire au monde réel ou à la communauté. Lorsque de tels efforts échouent, il est important de savoir si l’échec est dû à l’inefficacité de l’intervention dans le nouveau contexte (échec de l’intervention) ou à la mise en œuvre incorrecte d’une bonne intervention (échec de la mise en œuvre).(1)

Les résultats de la mise en œuvre font référence aux effets des stratégies de mise en œuvre délibérées visant à adopter et à intégrer de nouvelles interventions, de nouveaux programmes ou de nouvelles pratiques dans des contextes réels de réadaptation. (1)

Trois groupes de résultats de la mise en œuvre ont été suggérés : (9)(10)

  1. Les résultats de la mise en œuvre – effets des stratégies de mise en œuvre d’une nouvelle intervention, tels que l’acceptabilité, l’adoption, la pertinence, l’assimilation, la faisabilité, la fidélité, le coût de mise en œuvre, la pénétration et la durabilité des interventions de réadaptation fondées sur des données probantes.
  2. Les résultats du système de services – effets des interventions sur les résultats des services tels que : l’efficience, la sécurité, l’efficacité, l’équité, le focus sur le patient et la rapidité des interventions de réadaptation fondées sur des données probantes.
  3. Les résultats pour le patient – effets de l’intervention sur les résultats pour le patient tels que : les changements dans la satisfaction du patient, sa fonction ou sa symptomatologie suite aux interventions de réadaptation basées sur des preuves.

Il est essentiel de mesurer les résultats de la mise en œuvre en plus des résultats pour les patients ou du système de services afin de distinguer les programmes efficaces ou inefficaces qui sont bien ou mal mis en œuvre. Bien qu’il soit essentiel de se concentrer sur les trois groupes de résultats de la mise en œuvre, cet article se concentrera principalement sur les résultats de la mise en œuvre. (1) L’encadré 12 présente les définitions des dimensions des résultats de la mise en œuvre, adaptées de Proctor et al. (9) Vous trouverez ce même encadré en français dans la transcription de la vidéo L’évaluation, partie 2.

Définitions des dimensions des résultats de la mise en œuvre (9)

Étant donné que huit résultats de mise en œuvre doivent être identifiés, il peut être difficile de savoir comment et quelle dimension de résultat choisir. Plusieurs facteurs doivent être pris en compte lors du choix des résultats de mise en œuvre à évaluer : (1)

  • Les obstacles observés spécifiques à la mise en œuvre
  • La nouveauté de la pratique fondée sur des données probantes que vous essayez de mettre en œuvre
  • Le contexte dans lequel se déroule la mise en œuvre
  • Les ressources et la qualité de la formation habituelle pour la mise en œuvre

Le stade de mise en œuvre et votre unité d’analyse peuvent également avoir un impact. Par exemple, il peut être plus approprié d’étudier l’acceptabilité au début de la mise en œuvre et de mesurer la durabilité plus tard dans le processus de mise en œuvre.(1)

La fidélité de la mise en œuvre ( éditer | modifier la source )

Fidélité se traduit par  » loyauté  » ; ainsi, la fidélité de l’intervention signifie la mise en œuvre fidèle et correcte des composants clés d’une intervention définie. Sans une telle évaluation, il est impossible de déterminer si un manque d’impact est dû à une mauvaise mise en œuvre ou à des insuffisances inhérentes à l’intervention dans le contexte réel. La pratique fondée sur les preuves suppose également qu’une intervention est mise en œuvre en totale conformité avec ses détails publiés. Ceci est particulièrement important étant donné le plus grand potentiel d’incohérences dans la mise en œuvre d’une intervention dans le monde réel plutôt que dans des conditions expérimentales. La pratique fondée sur les preuves nécessite un moyen d’évaluer si l’intervention est effectivement mise en œuvre comme l’ont prévu les concepteurs.(1)

La fidélité de la mise en œuvre peut être décrite en termes de trois éléments clés qui doivent être mesurés, notamment :

  1. L’adhésion à une intervention – si une intervention est mise en œuvre comme elle a été conçue ou écrite en ce qui concerne le contenu de l’intervention, l’exposition ou la dose de l’intervention reçue par les participants
  2. La complexité de l’intervention – les interventions complexes sont plus susceptibles de varier dans leur mise en œuvre et sont donc plus vulnérables à une ou plusieurs composantes qui ne seraient pas correctement mises en œuvre
  3. Les stratégies de facilitation – fourniture de manuels, de lignes directrices, de formations, de suivi et retour d’information, de renforcement des capacités et d’incitations :
    • La qualité de l’exécution fait référence à la manière dont un praticien, un administrateur ou un bénévole exécute une intervention
    • La réactivité des participants mesure à quel point les participants répondent ou sont engagés par une intervention

Il est facile de se sentir dépassé par le grand nombre d’éléments qui peuvent influencer la fidélité de la mise en œuvre. Il est donc utile d’utiliser une approche plus globale pour évaluer l’influence sur les résultats de la fidélité de la mise en œuvre. L’encadré 13 présente plusieurs questions clés pour l’évaluation des résultats de la mise en œuvre (fidélité). (1) Vous trouverez ce même encadré en français dans la transcription de la vidéo L’évaluation, partie 2.

Questions clés dans l’évaluation des résultats de la mise en œuvre (fidélité)

Résumé(edit | edit source)

Compte tenu des multiples défis que pose la mise en œuvre des interventions de réadaptation, il est important de réfléchir et d’évaluer à la fois le processus de mise en œuvre et les résultats de ce processus. Afin d’informer les futurs efforts de facilitation de la mise en œuvre, il est important de savoir non seulement ce qui a fonctionné, mais aussi comment et pourquoi les stratégies de mise en œuvre sélectionnées ont fonctionné.

Il est important de distinguer l’efficacité de la mise en œuvre de l’efficacité de l’intervention. Étant donné que les résultats de l’efficacité de la mise en œuvre sont multiples, soyez sélectif quant aux résultats de la mise en œuvre à évaluer.

Ressources(edit | edit source)

Vidéo en option :

Veuillez regarder cette vidéo d’environ 20 minutes (en anglais) pour une description détaillée et une comparaison des différents cadres de la science de la mise en œuvre.

(11)

Lecture recommandée :

Outils supplémentaires de mesure des résultats de la mise en œuvre :

Étant donné la complexité de la réflexion sur la mise en œuvre et de la mesure des résultats, pour des informations plus détaillées sur les instruments de mesure des résultats de la mise en œuvre, veuillez consulter les ressources suivantes :

Références(edit | edit source)

  1. 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 Naccarella, L. Implementation Science: Evaluation Stage. Implementation Science Foundational Training Programme. Plus. 2022.
  2. Keith RE, Crosson JC, O’Malley AS, Cromp D, Taylor EF. Using the Consolidated Framework for Implementation Research (CFIR) to produce actionable findings: a rapid-cycle evaluation approach to improving implementation. Implementation Science. 2017 Dec;12(1):1-2.
  3. Atkins L, Francis J, Islam R, O’Connor D, Patey A, Ivers N, Foy R, Duncan EM, Colquhoun H, Grimshaw JM, Lawton R. A guide to using the Theoretical Domains Framework of behaviour change to investigate implementation problems. Implementation science. 2017 Dec;12(1):1-8.
  4. Hunter SC, Kim B, Mudge A, Hall L, Young A, McRae P, Kitson AL. Experiences of using the i-PARIHS framework: a co-designed case study of four multi-site implementation projects. BMC health services research. 2020 Dec;20(1):1-4.
  5. Roberts NA, Janda M, Stover AM, Alexander KE, Wyld D, Mudge A. The utility of the implementation science framework “Integrated Promoting Action on Research Implementation in Health Services”(i-PARIHS) and the facilitator role for introducing patient-reported outcome measures (PROMs) in a medical oncology outpatient department. Quality of Life Research. 2021 Nov;30(11):3063-71.
  6. Glasgow RE, Vogt TM, Boles SM. Evaluating the public health impact of health promotion interventions: the RE-AIM framework. American journal of public health. 1999 Sep;89(9):1322-7.
  7. Bondarenko J, Babic C, Burge AT, Holland AE. Home-based pulmonary rehabilitation: an implementation study using the RE-AIM framework. ERJ open research. 2021 Apr 1;7(2).
  8. Allen CG, Barbero C, Shantharam S, Moeti R. Is theory guiding our work? A scoping review on the use of implementation theories, frameworks, and models to bring community health workers into health care settings. Journal of public health management and practice: JPHMP. 2019 Nov;25(6):571.
  9. 9.0 9.1 9.2 9.3 Proctor E, Silmere H, Raghavan R, Hovmand P, Aarons G, Bunger A, Griffey R, Hensley M. Outcomes for implementation research: conceptual distinctions, measurement challenges, and research agenda. Administration and policy in mental health and mental health services research. 2011 Mar;38(2):65-76.
  10. Damschroder LJ, Reardon CM, Widerquist MA, Lowery J. The updated Consolidated Framework for Implementation Research based on user feedback. Implementation Science. 2022 Dec;17(1):1-6.
  11. Youtube. Theories and Frameworks in Implementation Science | IRL. Available from: https://www.youtube.com/watch?v=fdaTFgX0II0 (last accessed 11/05/2022)
  12. Khadjesari Z, Boufkhed S, Vitoratou S, Schatte L, Ziemann A, Daskalopoulou C, Uglik-Marucha E, Sevdalis N, Hull L. Implementation outcome instruments for use in physical healthcare settings: a systematic review. Implementation Science. 2020 Dec;15(1):1-6.


Développement professionnel dans votre langue

Rejoignez notre communauté internationale et participez à des cours en ligne pour tous les professionnels en réadaptation.

Voir les cours disponibles