Implementierungswissenschaft: Evaluationsphase

Originale Autorin Stacy Schiurring basierend auf dem Kurs von Lucio Naccarella

Top-BeitragendeStacy Schiurring, Kim Jackson und Jess Bell

Eine Mentalität der Implementierungsevaluation ( edit | edit source )

Der Begriff „Evaluation“ ist mit vielen Bedeutungen und Mythen behaftet, was zu Verwirrung, Angst und Widerstand gegen seine Vorteile führt.

Evaluation umfasst alle folgenden Aspekte:

  • die systematische Sammlung zuverlässiger und gültiger Informationen von allen an der Intervention Beteiligten
  • Bewertung des Prozesses der Implementierung der Intervention und der Strategien oder Ergebnisse des Implementierungsprozesses
  • Bereitstellung von Informationen für künftige Entscheidungen über Rehabilitationsinterventionen

Das Rückgrat jeder Implementierungsevaluation ist ein klarer Evaluationszweck und die Festlegung relevanter und beantwortbarer Evaluationsfragen, die auf die Evaluationsansätze und -methoden abgestimmt sind. Evaluationen werden in der Regel mit der Beurteilung der Wirksamkeit des Implementierungsprozesses in Verbindung gebracht, können aber auch Entscheidungen über den Implementierungsprozess und die Ergebnisse des Implementierungsprozesses beeinflussen.(1)

Implementierungsevaluation und kontextuelle Herausforderungen ( edit | edit source )

„Was beeinflusst die Implementierung?“ Um Ihr Gedächtnis aufzufrischen, finden Sie in diesem Artikel einen Überblick über die zahlreichen Faktoren, die die erfolgreiche Implementierung von evidenzbasierten Rehabilitationsinterventionen beeinflussen können.

Angesichts der zunehmenden Menge an Informationen über diese vielfältigen kontextuellen Herausforderungen bei der Implementierung von Rehabilitationsinterventionen kann man leicht überfordert werden. Daher ist es von Vorteil, einen umfassenderen Ansatz zu verwenden, um zu beurteilen, welche Kontextfaktoren Einfluss auf ein bestimmtes Implementierungsergebnis haben. Kasten 10 enthält mehrere Schlüsselfragen zur Evaluation des Implementierungsprozesses.(1)

Diese Fragen zur Evaluation des Implementierungsprozesses basieren auf mehreren bestehenden Rahmenkonzepten der Implementierungswissenschaft, die im Folgenden aufgeführt sind.

Beispiele für Implementierungswissenschaftliche Evaluationsrahmen, die Barrieren und Förderfaktoren für wichtige Implementierungsergebnisse identifizieren können:

Es gibt viele andere Evaluationsrahmen, die konsequent zur Bewertung der Wirksamkeit von evidenzbasierten Rehabilitationsinterventionen eingesetzt werden. Zu dieser Art von Rahmenkonzepten gehören:

Implementierungsevaluation und Implementierungsstrategien ( edit | edit source )

„Was hilft dem, was Sie implementieren?“ Um Ihr Gedächtnis aufzufrischen, finden Sie in diesem Artikel einen Überblick über die vielfältigen Implementierungsstrategien, die die erfolgreiche Implementierung von evidenzbasierten Rehabilitationsinterventionen unterstützen.(1)

Die fünf Klassen von Implementierungsstrategien:

  1. Strategien der Implementierungsprozesse
  2. Disseminationsstrategien
  3. Integrationsstrategien
  4. Strategien zum Kapazitätsaufbau
  5. Ausweitungsstrategien

Angesichts all dieser Implementierungsstrategien kann man leicht überfordert werden. Daher ist es von Vorteil, einen umfassenderen Ansatz zur Evaluation ihres Einflusses auf das Ergebnis einer bestimmten Implementierungsstrategie zu verwenden. Kasten 11 enthält einige Schlüsselfragen zur Evaluation von Implementierungsstrategien.(1)

Schlüsselfragen zur Evaluation von Implementierungsstrategien

Evaluation der Implementierungsergebnisse ( edit | edit source )

Ein ungelöstes Problem in der Implementierungswissenschaft ist die Frage, wie die Wirksamkeit der Implementierung von evidenzbasierten Interventionen beurteilt werden kann. Die Unterscheidung zwischen Implementierungseffektivität und Interventionseffektivität ist von entscheidender Bedeutung für die Übertragung von Interventionen aus Laborumgebungen in die reale Welt oder in öffentliche Settings. Wenn solche Bemühungen scheitern, ist es wichtig zu wissen, ob das Versagen darauf zurückzuführen ist, dass die Intervention in der neuen Umgebung unwirksam war (Interventionsversagen), oder ob eine gute Intervention falsch umgesetzt wurde (Implementierungsversagen).(1)

Implementierungsergebnisse – beziehen sich auf die Auswirkungen gezielter Implementierungsstrategien zur Annahme und Einbettung neuer Interventionen, Programme oder Verfahren in reale Rehabilitationsbedingungen. (1)

Es wurden drei Gruppen von Implementierungsergebnissen vorgeschlagen:(9)(10)

  1. Implementierungsergebnisse – die Auswirkungen der Implementierungsstrategien, die zur Implementierung einer neuen Intervention unternommen werden, wie z. B.: Akzeptanz, Annahme, Angemessenheit, Aufnahme, Durchführbarkeit, Treue, Implementierungskosten, Durchdringung und Nachhaltigkeit der evidenzbasierten Rehabilitationsinterventionen
  2. Ergebnisse des Dienstleistungssystems – die Auswirkungen der Interventionen auf die Dienstleistungsergebnisse, wie z. B.: Effizienz, Sicherheit, Effektivität, Gerechtigkeit, Patientenzentriertheit, Aktualität der evidenzbasierten Rehabilitationsinterventionen
  3. Patientenergebnisse – die Auswirkungen der Intervention auf die Ergebnisse der Patienten, wie z. B.: Veränderungen der Patientenzufriedenheit, der Funktion oder der Symptomatik als Ergebnis der evidenzbasierten Rehabilitationsinterventionen

Die Messung der Implementierungsergebnisse zusätzlich zu den Ergebnissen der Klienten oder des Dienstleistungssystems ist entscheidend für die Unterscheidung zwischen wirksamen und unwirksamen Programmen, die gut oder schlecht implementiert sind. Obwohl alle drei Gruppen von Implementierungsergebnissen von zentraler Bedeutung sind, wird sich dieser Artikel hauptsächlich auf tatsächliche Implementierungsergebnisse konzentrieren.(1) Kasten 12 enthält Definitionen der Dimensionen der Implementierungsergebnisse, die basierend auf Proctor et al. erstellt wurden.(9)

Definitionen der Dimensionen der Implementierungsergebnisse(9)

Da es acht Implementierungsergebnisse gibt, kann die Frage, wie und welche Ergebnisdimension ausgewählt werden soll, wieder einmal überwältigend sein. Bei der Auswahl der zu evaluierenden Implementierungsergebnisse sind mehrere Faktoren zu berücksichtigen:(1)

  • die spezifischen Barrieren, die Sie bei der Implementierung beobachtet haben;
  • die Neuartigkeit der evidenzbasierten Praxis, die Sie umzusetzen versuchen;
  • das Umfeld, in dem die Implementierung stattfindet;
  • die Ressourcen für die Implementierung und die Qualität der üblichen Schulung für die Implementierung.

Auch die Phase der Implementierung und die Analyseeinheit können einen Einfluss haben. So kann es beispielsweise sinnvoller sein, die Akzeptanz während der frühen Implementierungsphase zu untersuchen, während die Nachhaltigkeit eher zu einem späten Zeitpunkt im Implementierungsprozess gemessen werden sollte.(1)

Implementierungstreue ( edit | edit source )

Die Implementierungstreue (hier Synonym mit “ Interventionstreue“, „Programmtreue“, „Fidelity“ oder „methodische Integrität“ verwendet) bedeutet die treue und korrekte Implementierung der wichtigsten Komponenten einer definierten Intervention. Ohne eine solche Evaluation kann nicht festgestellt werden, ob ein Mangel an Wirkung auf eine mangelhafte Implementierung oder auf inhärente Unzulänglichkeiten der Intervention in der realen Welt zurückzuführen ist. Eine evidenzbasierte Praxis setzt auch voraus, dass eine Intervention in voller Übereinstimmung mit den veröffentlichten Details umgesetzt wird. Dies ist besonders wichtig, da bei der Implementierung einer Intervention unter realen und nicht unter experimentellen Bedingungen ein größeres Potenzial für Unstimmigkeiten besteht. Die evidenzbasierte Praxis braucht ein Mittel, um zu beurteilen, ob die Intervention tatsächlich so umgesetzt wird, wie es die Entwickler beabsichtigt haben.(1)

Die Implementierungstreue kann anhand von drei Schlüsselelementen beschrieben werden, die gemessen werden müssen:

  1. Adhärenz gegenüber einer Intervention – ob eine Intervention so durchgeführt wird, wie sie konzipiert oder geschrieben wurde, was den Inhalt der Intervention betrifft; die Exposition oder Dosis einer Intervention, die die Teilnehmer erhalten
  2. Komplexität der Intervention – komplexe Interventionen haben einen größeren Spielraum für Variationen bei der Durchführung und sind daher anfälliger dafür, dass eine oder mehrere Komponenten nicht korrekt umgesetzt werden
  3. Facilitation-Strategien – die Bereitstellung von Handbüchern, Leitlinien, Schulungen, Überwachung („Monitoring“) und Feedback, Kapazitätsaufbau und Anreize:
    • die Qualität der Weitergabe bezieht sich auf die Art und Weise, in der eine Fachkraft, ein Verwalter oder ein Freiwilliger eine Intervention durchführt;
    • die Reaktionsfähigkeit der Teilnehmer (Responsiveness) misst, inwieweit die Teilnehmer auf eine Intervention reagieren oder von ihr angesprochen werden.

Angesichts der großen Anzahl von Elementen, die die Implementierungstreue beeinflussen können, ist es leicht, überfordert zu werden. Daher ist es von Vorteil, einen umfassenderen Ansatz zur Evaluation des Einflusses auf die Ergebnisse der Implementierungstreue zu verwenden. Kasten 13 enthält einige Schlüsselfragen zur Evaluation der Implementierungsergebnisse (Implementierungstreue).(1)

Schlüsselfragen zur Evaluation der Implementierungsergebnisse (Implementierungstreue).

Zusammenfassung(edit | edit source)

Angesichts der vielfältigen Herausforderungen bei der Implementierung von Rehabilitationsinterventionen ist es wichtig, sowohl über den Implementierungsprozess als auch über die Ergebnisse des Implementierungsprozesses nachzudenken und diese zu bewerten. Für künftige Bemühungen zur Implementation Facilitation ist es wichtig, nicht nur zu wissen, was funktioniert hat, sondern auch, wie und warum die ausgewählten Implementierungsstrategien funktioniert haben.

Es ist wichtig, die Implementierungseffektivität von der Interventionseffektivität zu unterscheiden. Da es mehrere Ergebnisse der Implementierungseffektivität gibt, sollten Sie die zu bewertenden Implementierungsergebnisse sorgfältig auswählen.

Ressourcen(edit | edit source)

Optionales Video:

In diesem etwa 20-minütigen Video finden Sie eine detaillierte Beschreibung und einen Vergleich der Rahmenkonzepte der Implementierungswissenschaft.

(11)

Empfohlene Lektüre:

Zusätzliche Instrumente zur Messung von Implementierungsergebnissen:

In Anbetracht der Komplexität des Denkens und der Messung von Implementierungsergebnissen finden Sie hier detaillierte Informationen über Instrumente zur Messung von Implementierungsergebnissen:

Referenzen(edit | edit source)

  1. 1.00 1.01 1.02 1.03 1.04 1.05 1.06 1.07 1.08 1.09 1.10 Naccarella, L. Implementation Science: Evaluation Stage. Implementation Science Foundational Training Programme. Plus. 2022.
  2. Keith RE, Crosson JC, O’Malley AS, Cromp D, Taylor EF. Using the Consolidated Framework for Implementation Research (CFIR) to produce actionable findings: a rapid-cycle evaluation approach to improving implementation. Implementation Science. 2017 Dec;12(1):1-2.
  3. Atkins L, Francis J, Islam R, O’Connor D, Patey A, Ivers N, Foy R, Duncan EM, Colquhoun H, Grimshaw JM, Lawton R. A guide to using the Theoretical Domains Framework of behaviour change to investigate implementation problems. Implementation science. 2017 Dec;12(1):1-8.
  4. Hunter SC, Kim B, Mudge A, Hall L, Young A, McRae P, Kitson AL. Experiences of using the i-PARIHS framework: a co-designed case study of four multi-site implementation projects. BMC health services research. 2020 Dec;20(1):1-4.
  5. Roberts NA, Janda M, Stover AM, Alexander KE, Wyld D, Mudge A. The utility of the implementation science framework “Integrated Promoting Action on Research Implementation in Health Services”(i-PARIHS) and the facilitator role for introducing patient-reported outcome measures (PROMs) in a medical oncology outpatient department. Quality of Life Research. 2021 Nov;30(11):3063-71.
  6. Glasgow RE, Vogt TM, Boles SM. Evaluating the public health impact of health promotion interventions: the RE-AIM framework. American journal of public health. 1999 Sep;89(9):1322-7.
  7. Bondarenko J, Babic C, Burge AT, Holland AE. Home-based pulmonary rehabilitation: an implementation study using the RE-AIM framework. ERJ open research. 2021 Apr 1;7(2).
  8. Allen CG, Barbero C, Shantharam S, Moeti R. Is theory guiding our work? A scoping review on the use of implementation theories, frameworks, and models to bring community health workers into health care settings. Journal of public health management and practice: JPHMP. 2019 Nov;25(6):571.
  9. 9.0 9.1 9.2 9.3 Proctor E, Silmere H, Raghavan R, Hovmand P, Aarons G, Bunger A, Griffey R, Hensley M. Outcomes for implementation research: conceptual distinctions, measurement challenges, and research agenda. Administration and policy in mental health and mental health services research. 2011 Mar;38(2):65-76.
  10. Damschroder LJ, Reardon CM, Widerquist MA, Lowery J. The updated Consolidated Framework for Implementation Research based on user feedback. Implementation Science. 2022 Dec;17(1):1-6.
  11. Youtube. Theories and Frameworks in Implementation Science | IRL. Available from: https://www.youtube.com/watch?v=fdaTFgX0II0 (last accessed 11/05/2022)
  12. Khadjesari Z, Boufkhed S, Vitoratou S, Schatte L, Ziemann A, Daskalopoulou C, Uglik-Marucha E, Sevdalis N, Hull L. Implementation outcome instruments for use in physical healthcare settings: a systematic review. Implementation Science. 2020 Dec;15(1):1-6.


Berufliche Entwicklung in Ihrer Sprache

Schließen Sie sich unserer internationalen Gemeinschaft an und nehmen Sie an Online-Kursen für alle Rehabilitationsfachleute teil.

Verfügbare Kurse anzeigen