Scienza dell’implementazione: fase di valutazione

Una mentalità di valutazione dell’implementazione( modifica | modifica fonte )

Il termine valutazione ha molti significati e miti associati ad esso, che generano confusione, paura e resistenza ai suoi benefici.

La valutazione comprende tutto ciò che segue:

• Raccogliere informazioni affidabili e valide in modo sistematico da tutte le parti interessate dall’intervento
• Attribuire valore al processo di implementazione dell’intervento e alle strategie o agli outcome del processo di implementazione
• Informare il futuro processo decisionale degli interventi di riabilitazione

La spina dorsale di qualsiasi valutazione dell’implementazione consiste nell’avere uno scopo della valutazione chiaro e nel formulare domande di valutazione pertinenti e rispondenti che siano allineate agli approcci e ai metodi di valutazione. Le valutazioni sono tipicamente associate al giudizio sull’efficacia del processo di implementazione, ma possono anche informare le decisioni sul processo di implementazione e sugli outcome del processo di implementazione.⁽¹⁾

Valutazione dell’implementazione e sfide contestuali( modifica | modifica fonte )

“Cosa influenzerà ciò che si vuole implementare?” Per rinfrescarvi la memoria, vi preghiamo di consultare questo articolo per rivedere i molteplici fattori che potrebbero influenzare il successo dell’implementazione di interventi riabilitativi basati sulle evidenze.

È facile essere travolti dalla crescente quantità di informazioni che circondano queste molteplici sfide contestuali all’implementazione degli interventi di riabilitazione. È quindi utile utilizzare un approccio più completo per valutare quali fattori contestuali hanno un’influenza sugli outcome di una particolare implementazione. Il riquadro 10 fornisce alcune domande chiave per la valutazione del processo di implementazione.⁽¹⁾

Esempi di strutture di valutazione della scienza dell’implementazione che possono identificare le barriere e i facilitatori degli outcome chiave dell’implementazione:

• Consolidated Framework for Implementation Research (CFIR)⁽²⁾
• Theoretical Domains Framework (TDF)⁽³⁾
• Integrating Promoting Action on Research Implementation in Health Services (I-PARIHS)⁽⁴⁾⁽⁵⁾
• Exploration, Preparation, Implementation and Sustainment (EPIS)

Esistono molte altre strutture di valutazione che vengono utilizzate regolarmente per valutare l’efficacia degli interventi riabilitativi basati sulle evidenze. Questo tipo di struttura include:

• La struttura Reach, Effectiveness, Adoption, Implementation, Maintenance (RE-AIM)⁽⁶⁾⁽⁷⁾: utilizzata per valutare il successo dell’implementazione e l’impatto del trasferimento della ricerca alle condizioni “del mondo reale”
• Il Precede-Proceed Model of Health Program Planning & Evaluation ⁽⁸⁾

Valutazione dell’implementazione e strategie di implementazione( modifica | modifica fonte )

“Cosa aiuterà ciò che si vuole implementare?” Per rinfrescarvi la memoria, vi preghiamo di consultare questo articolo per rivedere le molteplici strategie di implementazione che supportano il successo di un’implementazione di interventi riabilitativi basati sulle evidenze.⁽¹⁾

Le cinque classi di strategie di implementazione:

1. Strategie del processo di implementazione
2. Strategie di diffusione
3. Strategie di integrazione
4. Strategie di sviluppo delle capacità
5. Strategie di ampliamento

È facile essere sopraffatti da tutte queste strategie di implementazione. È quindi utile utilizzare un approccio più completo per valutare la loro influenza sugli outcome di una particolare strategia di implementazione. Il riquadro 11 fornisce alcune domande chiave per la valutazione della strategia di implementazione.⁽¹⁾

Valutare gli outcome dell’implementazione( modifica | modifica fonte )

È importante riconoscere che una questione irrisolta nel campo della scienza dell’implementazione è come valutare l’efficacia dell’implementazione di interventi basati sulle evidenze. Distinguere l’efficacia dell’implementazione dall’efficacia dell’intervento è fondamentale per trasferire gli interventi dai contesti di laboratorio a quelli del mondo reale o della comunità. Quando questi sforzi falliscono, è importante sapere se il fallimento è dovuto all’inefficacia dell’intervento nel nuovo contesto (fallimento dell’intervento) o se un buon intervento è stato implementato in modo errato (fallimento dell’implementazione).⁽¹⁾

Outcome dell’implementazione – si riferiscono agli effetti delle strategie di implementazione volte ad adottare e incorporare nuovi interventi, programmi o pratiche in contesti riabilitativi del mondo reale.⁽¹⁾

Sono stati suggeriti tre gruppi di outcome dell’implementazione:^(9)(10)

1. Outcome dell’implementazione – gli effetti delle strategie di implementazione intraprese per implementare un nuovo intervento, quali: accettabilità, adozione, appropriatezza, diffusione, fattibilità, fedeltà, costi di implementazione, penetrazione e sostenibilità degli interventi di riabilitazione basati sulle evidenze
2. Outcome del sistema dei servizi – gli effetti degli interventi sugli outcome dei servizi, come ad esempio: efficienza, sicurezza, efficacia, equità, centralità del paziente, tempestività degli interventi riabilitativi basati sulle evidenze
3. Outcome del paziente – gli effetti dell’intervento sugli outcome del paziente, come ad esempio: cambiamenti nella soddisfazione del paziente, nella funzione o nella sintomatologia come risultato degli interventi di riabilitazione basati sulle evidenze

Misurare gli outcome dell’implementazione, oltre agli outcome dei pazienti o del sistema dei servizi, è fondamentale per distinguere programmi efficaci o inefficaci che vengono implementati bene o male. Sebbene tutti e tre i gruppi di outcome dell’implementazione siano fondamentali, questo articolo si concentrerà principalmente sugli outcome dell’implementazione.⁽¹⁾ Il riquadro 12 fornisce le definizioni delle dimensioni degli outcome dell’implementazione, adattate da Proctor et al.⁽⁹⁾

Dato che ci sono otto outcome dell’implementazione, ancora una volta si può essere sopraffatti da come e quale dimensione di outcome selezionare. Ci sono diversi fattori da considerare quando si sceglie quali outcome dell’implementazione valutare:⁽¹⁾

• Le barriere specifiche all’implementazione che avete osservato
• La novità della pratica basata sulle evidenze che si sta cercando di implementare
• Il contesto in cui avviene l’implementazione
• Le risorse e la qualità della formazione abituale per l’implementazione

Anche la fase di implementazione e la vostra unità di analisi possono avere un impatto. Ad esempio, l’accettabilità potrebbe essere più appropriata da studiare durante le prime fasi dell’implementazione, mentre la sostenibilità potrebbe essere misurata in modo più appropriato più avanti nel processo di implementazione.⁽¹⁾

Fedeltà dell’implementazione( modifica | modifica fonte )

Per fedeltà dell’intervento si intende l’implementazione fedele e corretta delle componenti chiave di un intervento definito. A meno che non venga effettuata una valutazione di questo tipo, non si può stabilire se la mancanza di impatto sia dovuta a una scarsa implementazione o a inadeguatezze intrinseche all’intervento nel contesto del mondo reale. La pratica basata sulle evidenze presuppone anche che un intervento venga implementato in piena conformità con i dettagli pubblicati. Ciò è particolarmente importante se si considera il maggiore potenziale di incongruenze nell’implementazione di un intervento nel mondo reale rispetto alle condizioni sperimentali. La pratica basata sulle evidenze necessita di un mezzo per valutare se l’intervento viene effettivamente implementato come auspicato dai progettisti.⁽¹⁾

La fedeltà dell’implementazione può essere descritta in termini di tre elementi chiave che devono essere misurati, tra cui:

1. Aderenza a un intervento – se un intervento viene erogato come è stato progettato o scritto per quanto riguarda il contenuto dell’intervento, l’esposizione o la dose di un intervento ricevuta dai partecipanti
2. Complessità dell’intervento – gli interventi complessi hanno un maggior margine di variazione nella loro erogazione, quindi sono più vulnerabili al fatto che una o più componenti non vengano implementate correttamente
3. Strategie di facilitazione – fornitura di manuali, linee guida, formazione, monitoraggio e feedback, sviluppo delle capacità e incentivi:
   • La qualità dell’erogazione si riferisce al modo in cui un operatore, un amministratore o un volontario erogano un intervento
   • La reattività dei partecipanti misura in che misura i partecipanti rispondono o sono coinvolti da un intervento

È facile essere sopraffatti dal gran numero di elementi che potrebbero influenzare la fedeltà dell’implementazione. È quindi utile utilizzare un approccio più completo per valutare l’influenza sugli outcome della fedeltà dell’implementazione. Il riquadro 13 fornisce diverse domande chiave per la valutazione degli outcome dell’implementazione (fedeltà).⁽¹⁾

Sintesi(edit | edit source)

Date le molteplici sfide che l’implementazione degli interventi riabilitativi comporta, è importante pensare e valutare sia il processo di implementazione che gli outcome del processo di implementazione. Per informare i futuri sforzi di facilitazione dell’implementazione, è importante sapere non solo cosa ha funzionato, ma anche come e perché le strategie di implementazione selezionate hanno funzionato.

È importante distinguere l’efficacia dell’implementazione dall’efficacia dell’intervento. Dato che gli outcome dell’efficacia dell’implementazione sono molteplici, siate selettivi sugli outcome dell’implementazione da valutare.

Risorse(edit | edit source)

Video facoltativo:

Si prega di visualizzare questo video, della durata di circa 20 minuti, per una descrizione dettagliata e un confronto tra le strutture della scienza dell’implementazione.

⁽¹¹⁾

Letture consigliate:

• Allen CG, Barbero C, Shantharam S, Moeti R. Is theory guiding our work? A scoping review on the use of implementation theories, frameworks, and models to bring community health workers into health care settings. Journal of public health management and practice: JPHMP. 2019 Nov;25(6):571.
• Keith RE, Crosson JC, O’Malley AS, Cromp D, Taylor EF. Using the Consolidated Framework for Implementation Research (CFIR) to produce actionable findings: a rapid-cycle evaluation approach to improving implementation. Implementation Science. 2017 Dec;12(1):1-2.
• Khadjesari Z, Boufkhed S, Vitoratou S, Schatte L, Ziemann A, Daskalopoulou C, Uglik-Marucha E, Sevdalis N, Hull L. Implementation outcome instruments for use in physical healthcare settings: a systematic review. Implementation Science. 2020 Dec;15(1):1-6.
• Proctor E, Silmere H, Raghavan R, Hovmand P, Aarons G, Bunger A, Griffey R, Hensley M. Outcomes for implementation research: conceptual distinctions, measurement challenges, and research agenda. Administration and policy in mental health and mental health services research. 2011 Mar;38(2):65-76.

Additional Implementation Outcome Measurement Tools:

Given the complexity of thinking and measuring implementation outcomes, for more detailed information about instruments to measure implementation outcomes please review:

• Washington University in St. Louis, Institute of Clinical and Translational Sciences: Implementation Outcomes Toolkit
• Implementation Outcome Repository ⁽¹²⁾
• Center for Technology and Behavioral Health: Measures for Implementation Research ⁽⁹⁾

Citazioni(edit | edit source)