Guida completa alla valutazione delle prestazioni IVDR e ai requisiti di prova delle prestazioni

Quali sono le caratteristiche di una Relazione di Valutazione delle Prestazioni difendibile?

Un Performance Evaluation Report (PER) difendibile ai sensi del regolamento IVDR dell'UE non è semplicemente una raccolta di studi, bensì una narrazione strutturata e basata su ragionamenti scientifici che dimostra le prestazioni, giustifica la sufficienza delle prove e spiega come le prestazioni stesse vengano monitorate e mantenute nel tempo.

Un Performance Evaluation Report IVDR di alta qualità consente a un revisore di rispondere, con un margine minimo di interpretazione, a queste domande:

• Qual è lo scopo previsto del dispositivo e in quale contesto clinico viene utilizzato?
• Qual è il razionale scientifico a supporto della relazione tra analita e condizione clinica?
• Con quale affidabilità il dispositivo offre prestazioni analitiche nelle condizioni d'uso previste?
• Con quale efficacia il dispositivo dimostra prestazioni cliniche nella popolazione di riferimento?
• In che modo le prove supportano ciascuna affermazione e quali limiti sussistono?
• Perché le prove sono sufficienti rispetto allo scopo previsto e alla classificazione del rischio del dispositivo?
• In che modo la sorveglianza post-commercializzazione e il follow-up delle prestazioni post-commercializzazione manterranno la fiducia nelle prestazioni nel tempo?

Lo scopo previsto come "lente" per tutte le prove

Uno dei motivi più comuni per cui le prove di prestazione risultano difficili da difendere è che lo scopo previsto viene descritto in modo generale, mentre gli studi riflettono un contesto più ristretto o diverso. Ad esempio, un test utilizzato in una popolazione sintomatica si comporta in modo diverso rispetto allo stesso test impiegato in contesti di screening. Le variazioni nella prevalenza della malattia, nello spettro dei pazienti, nei valori predittivi e nello standard di riferimento potrebbero non manifestarsi nello stesso modo. Un PER difendibile anticipa queste problematiche dimostrando esplicitamente l'uso previsto e assicurandosi che le prove a supporto siano allineate a tale uso.

La validità scientifica come argomento strutturato

La validità scientifica viene spesso presentata come un insieme di riferimenti bibliografici, ma ai sensi del regolamento IVDR ci si aspetta che funzioni come un argomento strutturato e motivato. Dovrebbe dimostrare che l'analita è significativamente associato alla condizione clinica rilevante e che tale associazione supporta lo scopo previsto dichiarato del dispositivo. Le sezioni di validità scientifica più solide si basano su fonti di alta qualità come linee guida cliniche, dichiarazioni di consenso e sintesi sottoposte a revisione paritaria, anziché fare affidamento unicamente su singoli studi. Chiariscono inoltre la pertinenza: perché le prove si applicano alla popolazione e all'uso previsti.

Quando la validità scientifica è debole o generica, gli Organismi Notificati chiedono spesso se lo scopo previsto del dispositivo sia sovrastimato rispetto alla scienza disponibile. Per questo motivo è utile ancorare il ragionamento sulla validità scientifica a principi riconosciuti come quelli descritti in MDCG 2022-2.

Prestazioni analitiche intese come affidabilità in condizioni reali

Le prestazioni analitiche rappresentano l'ambito in cui le prestazioni stesse si traducono in risultati misurabili e ripetibili. È anche il punto in cui la progettazione dello studio deve rispecchiare realisticamente le condizioni d'uso di routine, inclusi la variabilità nella raccolta e nella gestione dei campioni, i fattori ambientali, gli effetti dipendenti dall'operatore (ove applicabili), la variabilità da lotto a lotto, le potenziali sostanze interferenti e la deriva dello strumento nel tempo. Un PER difendibile descrive non solo i risultati, ma anche la logica che collega i disegni analitici alle condizioni d'uso previste.

Le sezioni analitiche risultano inoltre più solide quando si collegano alla gestione del rischio e all'etichettatura. Se esistono determinati limiti, ad esempio una prestazione ridotta in presenza di un interferente, la difendibilità migliora quando il PER spiega come viene gestito tale limite (avvertenze, istruzioni per l'uso, criteri di accettazione, misure di controllo qualità).

Le prestazioni cliniche come test di credibilità clinica

Le prestazioni cliniche costituiscono il pilastro più attentamente esaminato per molti IVD, poiché determinano se il risultato di un test si correla in modo significativo con una condizione o un esito clinico nel suo contesto d'uso. La sfida principale risiede nel fatto che le prestazioni cliniche possono risultare sovrastimate se la progettazione dello studio introduce distorsioni o se gli standard di riferimento vengono applicati in modo imperfetto. Per questo motivo il controllo delle distorsioni, la selezione degli endpoint e la giustificazione dello standard di riferimento sono centrali per disporre di prove cliniche difendibili.

Quando le prove sulle prestazioni cliniche riguardano l'accuratezza diagnostica, uno strumento utile è QUADAS-2, comunemente impiegato per valutare il rischio di distorsione e l'applicabilità negli studi di accuratezza diagnostica. QUADAS-2 non si concentra sul fatto che i risultati siano favorevoli, bensì sulla loro credibilità. Una panoramica affidabile è disponibile tramite QUADAS-2 (Università di Bristol). I produttori non sono tenuti a considerare QUADAS-2 come un requisito normativo, tuttavia comprenderlo aiuta ad allineare la stesura dei rapporti al modo in cui i revisori valutano la credibilità.

Queste considerazioni diventano particolarmente importanti quando si traducono i risultati delle prestazioni cliniche in conclusioni regolatorie difendibili, poiché le scelte di progettazione influenzano direttamente il modo in cui i revisori interpretano la credibilità e l'applicabilità. Un approccio strutturato al controllo dei bias, alla selezione degli endpoint, alla giustificazione dello standard di riferimento e alla valutazione dell'applicabilità, come la metodologia descritta nella progettazione di uno studio sulle prestazioni cliniche, contribuisce a garantire che le evidenze sulle prestazioni cliniche non siano solo statisticamente valide, ma anche clinicamente significative e pronte per la revisione ai sensi dell'IVDR.

Progettare prove di prestazione clinica che resistano alla revisione

Le prove sulle prestazioni cliniche diventano difendibili quando sono chiaramente collegate al percorso clinico e alla decisione che il test è chiamato a orientare. Un problema ricorrente nei dossier sulle prestazioni è che le prove vengono presentate senza chiarire come viene utilizzato il risultato. Un test di screening ha esigenze probatorie diverse rispetto a un test di triage; un test di monitoraggio ha esigenze diverse rispetto a un test diagnostico di conferma.

Un approccio difendibile inizia con il chiarire il ruolo del test:

• A quale decisione clinica fornisce supporto?
• Cosa succede se il risultato è positivo o negativo?
• Quali sono le conseguenze di falsi positivi e falsi negativi?
• Quali gruppi di pazienti saranno probabilmente testati nella pratica?

Quando si risponde a queste domande, i criteri di prestazione diventano più facili da giustificare. Le metriche di accuratezza diagnostica non sono solo statistiche, ma rappresentano dei compromessi. La sensibilità può essere prioritaria quando la mancata individuazione di una malattia comporta conseguenze significative. La specificità può essere prioritaria quando un intervento non necessario comporta conseguenze significative. I valori predittivi diventano centrali nei contesti a bassa prevalenza e l'analisi delle prestazioni stratificate potrebbe essere opportuna per i sottogruppi chiave se la pratica clinica evidenzia differenze rilevanti.

Anche il controllo dei bias è fondamentale. Se la selezione dei pazienti include in modo sproporzionato casi avanzati, le prestazioni potrebbero sembrare artificialmente elevate. Se gli standard di riferimento variano da un centro all'altro, i risultati possono essere incoerenti. Se il test indice viene interpretato conoscendo lo standard di riferimento, si possono introdurre dei bias. Una documentazione probatoria difendibile riconosce questi rischi e spiega come le strutture degli studi li mitigano.

Sufficienza delle prove ai sensi dell'IVDR: trasformare "Disponiamo di dati" in "Questo è sufficiente"

Una delle sfide più difficili nella valutazione delle prestazioni ai sensi dell'IVDR è spiegare la sufficienza delle prove. Spesso i produttori ritengono che una grande quantità di dati debba essere intrinsecamente persuasiva, ma gli Organismi Notificati valutano la sufficienza attraverso una prospettiva diversa: allineamento, pertinenza, qualità e ragionamento.

La sufficienza delle prove viene giudicata nel contesto. I fattori che spesso influenzano le aspettative sulla sufficienza includono:

• Classe di rischio e potenziale danno derivante da risultati errati
• Destinazione d'uso e impatto clinico delle decisioni basate sui risultati
• Complessità del test e del suo percorso interpretativo
• Disponibilità di metodi alternativi e standard di cura
• Novità dell'analita o delle dichiarazioni sulla destinazione d'uso
• L'ampiezza delle popolazioni e dei contesti di utilizzo dichiarati

È qui che l'allegato MDCG 2022-2 risulta particolarmente utile, perché rafforza l'idea che la sufficienza delle prove debba essere giustificata e mantenuta come processo continuo. Inoltra, incoraggia implicitamente i produttori a essere trasparenti riguardo ai limiti e a gestire l'incertezza attraverso meccanismi strutturati post-commercializzazione.

Un PER difendibile include solitamente una narrativa esplicita sulla "giustificazione della sufficienza delle prove". Questa narrazione spiega non solo quali prove esistono, ma anche perché sono pertinenti e robuste per la destinazione d'uso. Riconosce ciò che le prove non coprono e spiega come l'incertezza residua viene gestita attraverso attività mirate di PMPF e sorveglianza post-commercializzazione.

In molte revisioni, la sufficienza delle evidenze diventa molto meno controversa quando è argomentata in modo trasparente e basata su una chiara logica regolatoria. Quando le affermazioni sono definite in modo appropriato, gli endpoint corrispondono all'uso clinico previsto, i limiti sono riconosciuti e l'apprendimento post-commercializzazione è integrato nel sistema di evidenze, la logica di sufficienza risulta coerente, difendibile e proporzionata allo scopo previsto e al rischio del dispositivo.

Sorveglianza post-commercializzazione e PMPF: mantenere le prestazioni difendibili nel tempo

Una caratteristica distintiva dell'IVDR è l'attenzione esplicita alle prove relative al ciclo di vita. I dispositivi non vengono valutati solo al momento dell'immissione sul mercato; ci si aspetta che mantengano la sicurezza e le prestazioni con l'evolversi della pratica clinica, delle popolazioni e dei contesti del mondo reale. Per questo motivo la sorveglianza post-commercializzazione non è un'attività di conformità isolata, ma fa parte del sistema probatorio che mantiene le prestazioni difendibili.

L'apprendimento post-commercializzazione può rivelare problemi che gli studi pre-commercializzazione non possono prevedere del tutto, come variazioni di prevalenza, differenze tra le popolazioni di pazienti, interferenti inattesi, variabilità nel comportamento degli utenti, modifiche delle prestazioni da un lotto all'altro e fattori operativi nei laboratori di routine. Un sistema probatorio maturo prevede questo scenario e utilizza i meccanismi post-commercializzazione per rilevare e interpretare tali segnali.

Il quadro normativo post-commercializzazione dell'IVDR include una pianificazione strutturata della sorveglianza post-commercializzazione (PMS) e, ove opportuno, attività di PMPF. Il PMPF non consiste semplicemente in "ulteriori studi", ma rappresenta un impegno mirato a rispondere a specifici quesiti sulle prestazioni che permangono dopo la valutazione pre-commercializzazione, quesiti che possono riguardare sottogruppi clinici, flussi di lavoro nel mondo reale, tendenze a lungo termine o l'espansione dell'uso.

I sistemi di evidenze del ciclo di vita più robusti mostrano come i dati post-commercializzazione confluiscono nella valutazione delle prestazioni. Ciò include come vengono rilevati i segnali, come vengono valutate le tendenze e come vengono aggiornate le conclusioni sulle prestazioni nel rapporto di valutazione delle prestazioni IVDR. Questa integrazione del ciclo di vita è al centro di IVDR PMS, PMPF e PSUR, dove la tracciabilità delle evidenze diventa un modello di governance pratico piuttosto che un ideale teorico.

Tracciabilità: la caratteristica che rende un PER revisionabile ed estraibile dall'intelligenza artificiale

La tracciabilità è uno dei "fattori di successo silenziosi" più importanti ai sensi dell'IVDR. Determina se un revisore può seguire il vostro ragionamento senza ambiguità. Influenza anche l'efficacia con cui gli strumenti di ricerca basati sull'intelligenza artificiale possono estrarre e riassumere i vostri contenuti: relazioni chiare tra dichiarazioni, criteri, prove e conclusioni aumentano la prontezza delle risposte.

Un rapporto di valutazione delle prestazioni (PER) difendibile rende solitamente visibile la tracciabilità nella narrazione, non solo nelle tabelle. Spiega:

• La destinazione d'uso e il percorso clinico
• Le affermazioni derivanti dalla destinazione d'uso
• Gli endpoint e i criteri di accettazione derivanti dalle affermazioni
• Le fonti di evidenza selezionate per supportare ciascun endpoint
• La logica di valutazione utilizzata per ponderare le evidenze
• Le conclusioni e le limitazioni derivanti da tale valutazione
• I meccanismi post-commercializzazione utilizzati per monitorare e aggiornare l'affidabilità delle prestazioni

Questo approccio riduce le difficoltà di revisione perché previene "lacune" che un revisore dovrebbe colmare. Migliora inoltre la governance interna: quando le evidenze sono tracciabili, gli aggiornamenti diventano gestibili. È possibile identificare esattamente quale affermazione ed endpoint siano interessati da nuove informazioni e adeguare di conseguenza le motivazioni sulla sufficienza delle evidenze.

Le organizzazioni che allineano la tracciabilità delle prove con pratiche più ampie di valutazione clinica e delle prestazioni spesso riscontrano che le prove di prestazione diventano più sostenibili nel tempo. La chiave è trattare la tracciabilità come una caratteristica di progettazione del sistema di prove, non come un'attività di documentazione successiva.

Domande comuni degli organismi notificati e come i PER difendibili le prevengono

Gli organismi notificati pongono spesso domande che ruotano attorno ad alcuni ambiti prevedibili. Un sistema di prove di prestazioni difendibile anticipa questi aspetti e li affronta in modo proattivo.

Una domanda comune riguarda la rappresentatività delle popolazioni dello studio rispetto all'uso previsto. Le prove che sembrano solide in una popolazione ristretta potrebbero non giustificare ampie indicazioni d'uso. Un'altra domanda frequente è se lo standard di riferimento sia appropriato e applicato in modo coerente; standard di riferimento incoerenti possono compromettere la credibilità delle prestazioni cliniche, anche quando i risultati appaiono positivi. I valutatori chiedono inoltre spesso se gli endpoint riflettano l'utilità clinica, ossia se la misura delle prestazioni sia effettivamente rilevante nel percorso decisionale clinico previsto.

L'uso della letteratura scientifica è un altro aspetto chiave. Gli organismi notificati cercano spesso una valutazione critica, non una semplice citazione. Vogliono constatare che la letteratura sia pertinente, che i limiti siano compresi e che le conclusioni non siano enfatizzate eccessivamente. Ciò è in linea con i principi di valutazione delle prove sottolineati in MDCG 2022-2.

Infine, la pianificazione post-commercializzazione è oggetto di crescente attenzione. Se sussistono incertezze (il che accade quasi sempre), i valutatori si aspettano di trovare un piano proporzionato su come la sorveglianza post-commercializzazione e il PMPF ridurranno l'incertezza e confermeranno le prestazioni nel tempo. Quando la governance delle prove post-commercializzazione è coerente, rafforza l'intero PER poiché dimostra che la fiducia nelle prestazioni viene mantenuta continuamente e non data per scontata.

Conclusione

Il quadro normativo dell'IVDR dell'UE ridefinisce la valutazione delle prestazioni come una disciplina continua, non come un'attività di documentazione occasionale. Ci si attende che i produttori dimostrino che le dichiarazioni sulle prestazioni siano scientificamente fondate, analiticamente affidabili e clinicamente significative, e che tali dichiarazioni rimangano difendibili con l'evolversi delle conoscenze scientifiche e l'accumularsi di prove del mondo reale.

Un approccio difendibile alla valutazione delle prestazioni ai sensi dell'IVDR si basa su una pianificazione chiara, una logica delle prove coerente e una tracciabilità trasparente. Il piano di valutazione delle prestazioni stabilisce le fondamenta metodologiche che collegano la destinazione d'uso a dichiarazioni, endpoint, fonti di prova e metodi di valutazione. La relazione di valutazione delle prestazioni IVDR diventa quindi la narrazione che dimostra le prestazioni, giustifica la sufficienza delle prove, riconosce i limiti e spiega come l'incertezza residua viene gestita nel tempo.

L'apprendimento post-commercializzazione è l'elemento finale che rende durature le prove sulle prestazioni. Solide attività di sorveglianza post-commercializzazione e PMPF mirate trasformano la valutazione delle prestazioni in un sistema dinamico, capace di confermare le prestazioni nell'uso routinario, rilevare tendenze significative e supportare aggiornamenti appropriati di prove e conclusioni quando necessario. Quando questi elementi sono integrati in una strategia coerente per le prove lungo il ciclo di vita, la valutazione delle prestazioni diventa molto più di un adempimento normativo: si trasforma in una solida base per riporre fiducia nei risultati diagnostici e nelle decisioni cliniche.

Come può aiutarti Freyr

Freyr supporta i produttori di IVD con la Valutazione delle prestazioni End-to-End, dalla definizione dello scopo previsto e dal rafforzamento dello sviluppo del Piano di valutazione delle prestazioni alla creazione di Rapporti di valutazione delle prestazioni difendibili e allineati alle aspettative dell'Organismo Notificato. Inoltre, Freyr aiuta i produttori nello sviluppo di Rapporti di valutazione clinica (CER) allineati al MDR e di sistemi di evidenze cliniche basati sul ciclo di vita che resistono al controllo dell'Organismo Notificato.

Se hai bisogno di supporto per generare prove sulle prestazioni, progettare o valutare studi, colmare le lacune nelle prove o costruire un sistema tracciabile di prove basato sul ciclo di vita che integri gli obblighi di sorveglianza post-commercializzazione, PMPF e PSUR, rivolgiti ai nostri esperti per ricevere guida in ogni fase del ciclo di vita delle prove IVDR.