Implementierungswissenschaft: Evaluationsphase

Eine Mentalität der Implementierungsevaluation ( edit | edit source )

Der Begriff „Evaluation“ ist mit vielen Bedeutungen und Mythen behaftet, was zu Verwirrung, Angst und Widerstand gegen seine Vorteile führt.

Evaluation umfasst alle folgenden Aspekte:

• die systematische Sammlung zuverlässiger und gültiger Informationen von allen an der Intervention Beteiligten
• Bewertung des Prozesses der Implementierung der Intervention und der Strategien oder Ergebnisse des Implementierungsprozesses
• Bereitstellung von Informationen für künftige Entscheidungen über Rehabilitationsinterventionen

Das Rückgrat jeder Implementierungsevaluation ist ein klarer Evaluationszweck und die Festlegung relevanter und beantwortbarer Evaluationsfragen, die auf die Evaluationsansätze und -methoden abgestimmt sind. Evaluationen werden in der Regel mit der Beurteilung der Wirksamkeit des Implementierungsprozesses in Verbindung gebracht, können aber auch Entscheidungen über den Implementierungsprozess und die Ergebnisse des Implementierungsprozesses beeinflussen.⁽¹⁾

Implementierungsevaluation und kontextuelle Herausforderungen ( edit | edit source )

„Was beeinflusst die Implementierung?“ Um Ihr Gedächtnis aufzufrischen, finden Sie in diesem Artikel einen Überblick über die zahlreichen Faktoren, die die erfolgreiche Implementierung von evidenzbasierten Rehabilitationsinterventionen beeinflussen können.

Angesichts der zunehmenden Menge an Informationen über diese vielfältigen kontextuellen Herausforderungen bei der Implementierung von Rehabilitationsinterventionen kann man leicht überfordert werden. Daher ist es von Vorteil, einen umfassenderen Ansatz zu verwenden, um zu beurteilen, welche Kontextfaktoren Einfluss auf ein bestimmtes Implementierungsergebnis haben. Kasten 10 enthält mehrere Schlüsselfragen zur Evaluation des Implementierungsprozesses.⁽¹⁾

Beispiele für Implementierungswissenschaftliche Evaluationsrahmen, die Barrieren und Förderfaktoren für wichtige Implementierungsergebnisse identifizieren können:

• Consolidated Framework for Implementation Research (CFIR)⁽²⁾
• Theoretical Domains Framework (TDF)⁽³⁾
• Integrating Promoting Action on Research Implementation in Health Services (I-PARIHS)⁽⁴⁾⁽⁵⁾
• Exploration, Preparation, Implementation and Sustainment (EPIS)

Es gibt viele andere Evaluationsrahmen, die konsequent zur Bewertung der Wirksamkeit von evidenzbasierten Rehabilitationsinterventionen eingesetzt werden. Zu dieser Art von Rahmenkonzepten gehören:

• Das Rahmenkonzept Reach, Effectiveness, Adoption, Implementation, Maintenance (RE-AIM):⁽⁶⁾⁽⁷⁾ zur Evaluation des Erfolgs der Implementierung und der Auswirkungen der Übertragung von Forschungsergebnissen auf Bedingungen in der realen Welt
• Das Precede-Proceed-Modell der Planung und Evaluation von Gesundheitsprogrammen ⁽⁸⁾

Implementierungsevaluation und Implementierungsstrategien ( edit | edit source )

„Was hilft dem, was Sie implementieren?“ Um Ihr Gedächtnis aufzufrischen, finden Sie in diesem Artikel einen Überblick über die vielfältigen Implementierungsstrategien, die die erfolgreiche Implementierung von evidenzbasierten Rehabilitationsinterventionen unterstützen.⁽¹⁾

Die fünf Klassen von Implementierungsstrategien:

1. Strategien der Implementierungsprozesse
2. Disseminationsstrategien
3. Integrationsstrategien
4. Strategien zum Kapazitätsaufbau
5. Ausweitungsstrategien

Angesichts all dieser Implementierungsstrategien kann man leicht überfordert werden. Daher ist es von Vorteil, einen umfassenderen Ansatz zur Evaluation ihres Einflusses auf das Ergebnis einer bestimmten Implementierungsstrategie zu verwenden. Kasten 11 enthält einige Schlüsselfragen zur Evaluation von Implementierungsstrategien.⁽¹⁾

Evaluation der Implementierungsergebnisse ( edit | edit source )

Ein ungelöstes Problem in der Implementierungswissenschaft ist die Frage, wie die Wirksamkeit der Implementierung von evidenzbasierten Interventionen beurteilt werden kann. Die Unterscheidung zwischen Implementierungseffektivität und Interventionseffektivität ist von entscheidender Bedeutung für die Übertragung von Interventionen aus Laborumgebungen in die reale Welt oder in öffentliche Settings. Wenn solche Bemühungen scheitern, ist es wichtig zu wissen, ob das Versagen darauf zurückzuführen ist, dass die Intervention in der neuen Umgebung unwirksam war (Interventionsversagen), oder ob eine gute Intervention falsch umgesetzt wurde (Implementierungsversagen).⁽¹⁾

Implementierungsergebnisse – beziehen sich auf die Auswirkungen gezielter Implementierungsstrategien zur Annahme und Einbettung neuer Interventionen, Programme oder Verfahren in reale Rehabilitationsbedingungen. ⁽¹⁾

Es wurden drei Gruppen von Implementierungsergebnissen vorgeschlagen:^(9)(10)

1. Implementierungsergebnisse – die Auswirkungen der Implementierungsstrategien, die zur Implementierung einer neuen Intervention unternommen werden, wie z. B.: Akzeptanz, Annahme, Angemessenheit, Aufnahme, Durchführbarkeit, Treue, Implementierungskosten, Durchdringung und Nachhaltigkeit der evidenzbasierten Rehabilitationsinterventionen
2. Ergebnisse des Dienstleistungssystems – die Auswirkungen der Interventionen auf die Dienstleistungsergebnisse, wie z. B.: Effizienz, Sicherheit, Effektivität, Gerechtigkeit, Patientenzentriertheit, Aktualität der evidenzbasierten Rehabilitationsinterventionen
3. Patientenergebnisse – die Auswirkungen der Intervention auf die Ergebnisse der Patienten, wie z. B.: Veränderungen der Patientenzufriedenheit, der Funktion oder der Symptomatik als Ergebnis der evidenzbasierten Rehabilitationsinterventionen

Die Messung der Implementierungsergebnisse zusätzlich zu den Ergebnissen der Klienten oder des Dienstleistungssystems ist entscheidend für die Unterscheidung zwischen wirksamen und unwirksamen Programmen, die gut oder schlecht implementiert sind. Obwohl alle drei Gruppen von Implementierungsergebnissen von zentraler Bedeutung sind, wird sich dieser Artikel hauptsächlich auf tatsächliche Implementierungsergebnisse konzentrieren.⁽¹⁾ Kasten 12 enthält Definitionen der Dimensionen der Implementierungsergebnisse, die basierend auf Proctor et al. erstellt wurden.⁽⁹⁾

Da es acht Implementierungsergebnisse gibt, kann die Frage, wie und welche Ergebnisdimension ausgewählt werden soll, wieder einmal überwältigend sein. Bei der Auswahl der zu evaluierenden Implementierungsergebnisse sind mehrere Faktoren zu berücksichtigen:⁽¹⁾

• die spezifischen Barrieren, die Sie bei der Implementierung beobachtet haben;
• die Neuartigkeit der evidenzbasierten Praxis, die Sie umzusetzen versuchen;
• das Umfeld, in dem die Implementierung stattfindet;
• die Ressourcen für die Implementierung und die Qualität der üblichen Schulung für die Implementierung.

Auch die Phase der Implementierung und die Analyseeinheit können einen Einfluss haben. So kann es beispielsweise sinnvoller sein, die Akzeptanz während der frühen Implementierungsphase zu untersuchen, während die Nachhaltigkeit eher zu einem späten Zeitpunkt im Implementierungsprozess gemessen werden sollte.⁽¹⁾

Implementierungstreue ( edit | edit source )

Die Implementierungstreue (hier Synonym mit “ Interventionstreue“, „Programmtreue“, „Fidelity“ oder „methodische Integrität“ verwendet) bedeutet die treue und korrekte Implementierung der wichtigsten Komponenten einer definierten Intervention. Ohne eine solche Evaluation kann nicht festgestellt werden, ob ein Mangel an Wirkung auf eine mangelhafte Implementierung oder auf inhärente Unzulänglichkeiten der Intervention in der realen Welt zurückzuführen ist. Eine evidenzbasierte Praxis setzt auch voraus, dass eine Intervention in voller Übereinstimmung mit den veröffentlichten Details umgesetzt wird. Dies ist besonders wichtig, da bei der Implementierung einer Intervention unter realen und nicht unter experimentellen Bedingungen ein größeres Potenzial für Unstimmigkeiten besteht. Die evidenzbasierte Praxis braucht ein Mittel, um zu beurteilen, ob die Intervention tatsächlich so umgesetzt wird, wie es die Entwickler beabsichtigt haben.⁽¹⁾

Die Implementierungstreue kann anhand von drei Schlüsselelementen beschrieben werden, die gemessen werden müssen:

1. Adhärenz gegenüber einer Intervention – ob eine Intervention so durchgeführt wird, wie sie konzipiert oder geschrieben wurde, was den Inhalt der Intervention betrifft; die Exposition oder Dosis einer Intervention, die die Teilnehmer erhalten
2. Komplexität der Intervention – komplexe Interventionen haben einen größeren Spielraum für Variationen bei der Durchführung und sind daher anfälliger dafür, dass eine oder mehrere Komponenten nicht korrekt umgesetzt werden
3. Facilitation-Strategien – die Bereitstellung von Handbüchern, Leitlinien, Schulungen, Überwachung („Monitoring“) und Feedback, Kapazitätsaufbau und Anreize:
   • die Qualität der Weitergabe bezieht sich auf die Art und Weise, in der eine Fachkraft, ein Verwalter oder ein Freiwilliger eine Intervention durchführt;
   • die Reaktionsfähigkeit der Teilnehmer (Responsiveness) misst, inwieweit die Teilnehmer auf eine Intervention reagieren oder von ihr angesprochen werden.

Angesichts der großen Anzahl von Elementen, die die Implementierungstreue beeinflussen können, ist es leicht, überfordert zu werden. Daher ist es von Vorteil, einen umfassenderen Ansatz zur Evaluation des Einflusses auf die Ergebnisse der Implementierungstreue zu verwenden. Kasten 13 enthält einige Schlüsselfragen zur Evaluation der Implementierungsergebnisse (Implementierungstreue).⁽¹⁾

Zusammenfassung(edit | edit source)

Angesichts der vielfältigen Herausforderungen bei der Implementierung von Rehabilitationsinterventionen ist es wichtig, sowohl über den Implementierungsprozess als auch über die Ergebnisse des Implementierungsprozesses nachzudenken und diese zu bewerten. Für künftige Bemühungen zur Implementation Facilitation ist es wichtig, nicht nur zu wissen, was funktioniert hat, sondern auch, wie und warum die ausgewählten Implementierungsstrategien funktioniert haben.

Es ist wichtig, die Implementierungseffektivität von der Interventionseffektivität zu unterscheiden. Da es mehrere Ergebnisse der Implementierungseffektivität gibt, sollten Sie die zu bewertenden Implementierungsergebnisse sorgfältig auswählen.

Ressourcen(edit | edit source)

Optionales Video:

In diesem etwa 20-minütigen Video finden Sie eine detaillierte Beschreibung und einen Vergleich der Rahmenkonzepte der Implementierungswissenschaft.

⁽¹¹⁾

Empfohlene Lektüre:

• Allen CG, Barbero C, Shantharam S, Moeti R. Is theory guiding our work? A scoping review on the use of implementation theories, frameworks, and models to bring community health workers into health care settings. Journal of public health management and practice: JPHMP. 2019 Nov;25(6):571.
• Keith RE, Crosson JC, O’Malley AS, Cromp D, Taylor EF. Using the Consolidated Framework for Implementation Research (CFIR) to produce actionable findings: a rapid-cycle evaluation approach to improving implementation. Implementation Science. 2017 Dec;12(1):1-2.
• Khadjesari Z, Boufkhed S, Vitoratou S, Schatte L, Ziemann A, Daskalopoulou C, Uglik-Marucha E, Sevdalis N, Hull L. Implementation outcome instruments for use in physical healthcare settings: a systematic review. Implementation Science. 2020 Dec;15(1):1-6.
• Proctor E, Silmere H, Raghavan R, Hovmand P, Aarons G, Bunger A, Griffey R, Hensley M. Outcomes for implementation research: conceptual distinctions, measurement challenges, and research agenda. Administration and policy in mental health and mental health services research. 2011 Mar;38(2):65-76.

Zusätzliche Instrumente zur Messung von Implementierungsergebnissen:

In Anbetracht der Komplexität des Denkens und der Messung von Implementierungsergebnissen finden Sie hier detaillierte Informationen über Instrumente zur Messung von Implementierungsergebnissen:

• Washington University in St. Louis, Institute of Clinical and Translational Sciences: Implementation Outcomes Toolkit
• Implementation Outcome Repository ⁽¹²⁾
• Center for Technology and Behavioral Health: Measures for Implementation Research ⁽⁹⁾

Referenzen(edit | edit source)