Guia Abrangente para a Avaliação de Desempenho e Requisitos de Evidência de Desempenho do IVDR

Como é um relatório de avaliação de desempenho bem fundamentado?

Um Relatório de Avaliação de Desempenho (PER) defensável ao abrigo do Regulamento IVDR da UE não é apenas uma compilação de estudos. Trata-se de uma narrativa estruturada e cientificamente fundamentada que demonstra o desempenho, justifica a suficiência das evidências e explica como o desempenho é monitorizado e mantido ao longo do tempo.

Um Relatório de Avaliação de Desempenho IVDR de alta qualidade permite que um revisor responda, com um mínimo de interpretação:

• Qual é a finalidade do dispositivo e em que contexto clínico é utilizado?
• Qual é a base científica que sustenta a relação entre o analito e a «condição» clínica?
• Qual é o nível de fiabilidade analítica do dispositivo nas condições de utilização previstas?
• Qual é o grau de eficácia com que o dispositivo demonstra desempenho clínico na população-alvo?
• De que forma as evidências sustentam cada afirmação e que limitações existem?
• Por que razão as provas são suficientes para a finalidade prevista do dispositivo e para a sua classificação de risco?
• De que forma a vigilância pós-comercialização e o acompanhamento do desempenho pós-comercialização irão manter a confiança no desempenho ao longo do tempo?

Finalidade prevista como «lente» para todas as provas

Uma das razões mais comuns pelas quais as evidências de desempenho se tornam difíceis de defender é que a finalidade pretendida é descrita a um nível geral, enquanto os estudos refletem um contexto mais restrito ou diferente. Por exemplo, um teste utilizado numa população sintomática comporta-se de forma diferente do mesmo teste utilizado em contextos de rastreio. Variações na prevalência da doença, no espectro de doentes, nos valores preditivos e no padrão de referência podem não se comportar da mesma forma. Um PER defensável antecipa estas questões, demonstrando explicitamente a utilização pretendida e garantindo que as evidências de apoio estão alinhadas com essa utilização.

A validade científica como argumento estruturado

A validade científica é frequentemente apresentada como um conjunto de referências, mas, ao abrigo do IVDR, espera-se que funcione como um argumento estruturado e fundamentado. Deve demonstrar que o analito está significativamente associado à condição clínica relevante e que essa associação sustenta a finalidade declarada do dispositivo.As secções de validade científica mais sólidas baseiam-se em fontes de alta qualidade, tais como diretrizes clínicas, declarações de consenso e sínteses revistas por pares, em vez de se basearem exclusivamente em estudos individuais. Também esclarecem a relevância: por que razão a evidência se aplica à população e à utilização pretendidas.

Quando a validade científica é fraca ou genérica, os organismos notificados questionam frequentemente se a finalidade prevista do dispositivo é excessiva em relação aos dados científicos disponíveis. É por isso que é útil basear o raciocínio sobre a validade científica em princípios reconhecidos, como os descritos no MDCG 2022-2.

Desempenho analítico em termos de fiabilidade em condições reais

O desempenho analítico é o ponto em que o desempenho se traduz em resultados mensuráveis e repetíveis. É também o ponto em que o desenho do estudo deve refletir de forma realista as condições de utilização de rotina, incluindo a variabilidade na recolha e manuseamento das amostras, fatores ambientais, efeitos dependentes do operador (quando aplicável), variação entre lotes, potenciais substâncias interferentes e desvio dos instrumentos ao longo do tempo. Um PER defensável descreve não só os resultados, mas também a lógica que liga os desenhos analíticos às condições de utilização previstas.

As secções analíticas ganham também mais peso quando estão associadas à gestão de riscos e à rotulagem. Se existirem certas limitações, por exemplo, um desempenho reduzido na presença de um interferente, a defensabilidade melhora quando o PER explica como essa limitação é gerida (avisos, instruções de utilização, critérios de aceitação, medidas de controlo de qualidade).

O desempenho clínico como teste de credibilidade clínica

O desempenho clínico é o pilar mais escrutinado para muitos dispositivos de diagnóstico in vitro (IVD), uma vez que determina se o resultado de um teste se correlaciona de forma significativa com uma condição clínica ou um desfecho no contexto a que se destina. O principal desafio reside no facto de o desempenho clínico poder ser inflacionado se o desenho do estudo introduzir enviesamentos ou se os padrões de referência forem aplicados de forma imperfeita. É por isso que o controlo de enviesamentos, a seleção de parâmetros de avaliação e a justificação dos padrões de referência são fundamentais para uma evidência clínica defensável.

Quando as evidências de desempenho clínico envolvem a precisão diagnóstica, uma perspetiva útil é o QUADAS-2, uma ferramenta frequentemente utilizada para avaliar o risco de viés e a aplicabilidade em estudos de precisão diagnóstica. O QUADAS-2 não se centra em saber se os resultados são favoráveis, mas sim se são credíveis. Está disponível uma visão geral fiável através do QUADAS-2 (Universidade de Bristol). Os fabricantes não precisam de tratar o QUADAS-2 como um requisito regulamentar, mas compreendê-lo ajuda a alinhar a apresentação dos resultados dos estudos com a forma como os revisores encaram a credibilidade.

Estas considerações tornam-se especialmente importantes quando se traduzem os resultados do desempenho clínico em conclusões regulamentares defensáveis, uma vez que as escolhas de conceção influenciam diretamente a forma como os revisores interpretam a credibilidade e a aplicabilidade. Uma abordagem estruturada ao controlo de enviesamentos, à seleção de parâmetros de avaliação, à justificação do padrão de referência e à avaliação da aplicabilidade — tal como a metodologia descrita na conceção de um estudo de desempenho clínico — ajuda a garantir que as evidências de desempenho clínico não só sejam estatisticamente sólidas, mas também clinicamente significativas e estejam preparadas para revisão ao abrigo do IVDR.

Conceber evidências de desempenho clínico que resistam a uma análise crítica

As evidências de desempenho clínico tornam-se defensáveis quando estão claramente ligadas ao percurso clínico e à decisão que o teste ajuda a tomar. Um problema recorrente nos dossiês de desempenho é que as evidências são apresentadas sem esclarecer como o resultado é utilizado. Um teste de rastreio tem necessidades probatórias diferentes das de um teste de triagem; um teste de monitorização tem necessidades diferentes das de um teste de diagnóstico confirmatório.

Uma abordagem fundamentada começa por esclarecer o papel do teste:

• Que decisão clínica isso ajuda a tomar?
• O que acontece se o resultado for positivo ou negativo?
• Quais são as consequências dos falsos positivos e dos falsos negativos?
• Na prática, quais são os grupos de doentes que provavelmente serão submetidos a testes?

Quando estas questões são esclarecidas, os parâmetros de desempenho tornam-se mais fáceis de justificar. As métricas de precisão diagnóstica não são meras estatísticas; representam compromissos. A sensibilidade pode ser priorizada quando a não deteção da doença tem consequências significativas. A especificidade pode ser priorizada quando uma intervenção desnecessária tem consequências significativas. Os valores preditivos assumem um papel central em contextos de baixa prevalência, e a análise estratificada do desempenho pode ser justificada para subgrupos-chave, caso a prática clínica indique diferenças significativas.

O controlo do enviesamento é igualmente fundamental. Se a seleção de doentes incluir, de forma desproporcional, casos em fase avançada, o desempenho pode parecer artificialmente elevado. Se os padrões de referência diferirem entre os centros, os resultados podem ser inconsistentes. Se o teste índice for interpretado com conhecimento do padrão de referência, pode introduzir-se um enviesamento. Uma narrativa de evidência defensável reconhece estes riscos e explica como os desenhos do estudo os mitigam.

Suficiência de evidências ao abrigo do IVDR: transformar «Temos dados» em «Isto é suficiente»

Um dos desafios mais difíceis na avaliação do desempenho ao abrigo do IVDR é demonstrar a suficiência das evidências. Os fabricantes consideram frequentemente que dados abrangentes devem ser, por si só, persuasivos, mas os organismos notificados avaliam a suficiência sob uma perspetiva diferente: coerência, relevância, qualidade e fundamentação.

A suficiência das provas é avaliada no contexto. Entre os fatores que frequentemente influenciam as expectativas quanto à suficiência, incluem-se:

• Classe de risco e danos potenciais decorrentes de resultados incorretos
• Finalidade e impacto clínico das decisões baseadas nos resultados
• A complexidade do teste e o seu processo de interpretação
• Disponibilidade de métodos alternativos e padrões de cuidados
• Novidade das reivindicações relativas ao analito ou à utilização prevista
• A amplitude das populações e dos contextos de utilização indicados

É aqui que o MDCG 2022-2 se revela especialmente útil, pois reforça a ideia de que a suficiência das evidências deve ser justificada e mantida como um processo contínuo. Além disso, incentiva implicitamente os fabricantes a serem transparentes quanto às limitações e a gerir a incerteza através de mecanismos estruturados pós-comercialização.

Um PER defensável inclui normalmente uma descrição explícita da «justificação da suficiência das evidências». Essa descrição explica não só quais as evidências existentes, mas também por que razão estas são relevantes e sólidas para o fim a que se destinam. Reconhece o que as evidências não abrangem e explica como a incerteza remanescente é gerida através de PMPF específicas e da vigilância pós-comercialização.

Em muitas análises, a suficiência das evidências torna-se muito menos controversa quando é argumentada de forma transparente e assente numa lógica regulamentar clara. Quando as alegações são devidamente delimitadas, os parâmetros de avaliação correspondem à utilização clínica pretendida, as limitações são reconhecidas e os dados recolhidos após a comercialização são integrados no sistema de evidências, a fundamentação da suficiência apresenta-se coerente, defensável e proporcional à finalidade e ao risco previstos do dispositivo.

Vigilância pós-comercialização e PMPF: garantir a sustentabilidade do desempenho ao longo do tempo

Uma característica distintiva do IVDR é a sua ênfase explícita nas evidências ao longo do ciclo de vida. Os dispositivos não são avaliados apenas no momento da entrada no mercado; espera-se que continuem a ser seguros e a apresentar um bom desempenho à medida que a prática clínica, as populações e os contextos do mundo real evoluem. É por isso que a vigilância pós-comercialização não é uma tarefa de conformidade isolada. Faz parte do sistema de evidências que garante a sustentabilidade do desempenho.

A aprendizagem pós-comercialização pode revelar questões que os estudos pré-comercialização não conseguem prever na totalidade, tais como alterações na prevalência, diferenças entre populações de doentes, interferentes inesperados, variabilidade no comportamento dos utilizadores, variações de desempenho entre lotes e fatores operacionais em laboratórios de rotina. Um sistema de evidência maduro antecipa esta situação e recorre a mecanismos pós-comercialização para detetar e interpretar estes sinais.

O quadro pós-comercialização do IVDR inclui um planeamento estruturado do PMS e, quando apropriado, atividades de PMPF. O PMPF não consiste simplesmente em «mais estudos». Trata-se de um esforço direcionado para responder a questões específicas sobre o desempenho que permanecem após a avaliação pré-comercialização, questões que podem estar relacionadas com subgrupos clínicos, fluxos de trabalho no mundo real, tendências a longo prazo ou expansão da utilização.

Os sistemas de evidência do ciclo de vida mais sólidos demonstram como os dados pós-comercialização são incorporados na avaliação do desempenho. Isso inclui a forma como os sinais são detetados, como as tendências são avaliadas e como as conclusões relativas ao desempenho são atualizadas no relatório de avaliação do desempenho previsto pelo IVDR. Esta integração do ciclo de vida está no cerne dos sistemas PMS, PMPF e PSUR do IVDR, onde a rastreabilidade das evidências se torna um modelo prático de governação, em vez de um ideal teórico.

Rastreabilidade: a característica que torna um PER passível de revisão e extração por IA

A rastreabilidade é um dos «fatores de sucesso silenciosos» mais importantes no âmbito do IVDR. Determina se um revisor consegue acompanhar o seu raciocínio sem ambiguidades. Influencia também a capacidade das ferramentas de pesquisa baseadas em IA para extrair e resumir o seu conteúdo: relações claras entre alegações, parâmetros de avaliação, evidências e conclusões aumentam a «prontidão da resposta».

Um Relatório de Avaliação de Desempenho (PER) bem fundamentado torna normalmente a rastreabilidade visível na descrição, e não apenas nas tabelas. Explica:

• A finalidade prevista e o percurso clínico
• As reivindicações decorrentes da finalidade prevista
• Os parâmetros de avaliação e os critérios de aceitação derivados das alegações
• As fontes de evidência selecionadas para fundamentar cada desfecho
• A lógica de avaliação utilizada para ponderar as provas
• As conclusões e limitações decorrentes dessa avaliação
• Os mecanismos pós-comercialização utilizados para monitorizar e atualizar a confiança no desempenho

Esta abordagem reduz os atritos no processo de revisão, uma vez que evita as «lacunas» que um revisor tem de preencher. Além disso, melhora a governação interna: quando as evidências são rastreáveis, as atualizações tornam-se mais fáceis de gerir. É possível identificar exatamente qual a alegação e qual o parâmetro que são afetados pelas novas informações e ajustar, em conformidade, as justificações relativas à suficiência das evidências.

As organizações que integram a rastreabilidade das evidências em práticas mais amplas de avaliação clínica e de desempenho constatam frequentemente que as evidências de desempenho se tornam mais sustentáveis ao longo do tempo. O segredo está em considerar a rastreabilidade como uma característica intrínseca do sistema de evidências, e não como uma atividade de documentação a posteriori.

Perguntas frequentes sobre organismos notificados e como os PERs fundamentados as antecipam

Os organismos notificados colocam frequentemente questões que se concentram em algumas áreas previsíveis. Um sistema de comprovação do desempenho bem fundamentado antecipa essas áreas e aborda-as de forma proativa.

Uma questão frequente é se as populações do estudo representam a utilização pretendida. Evidências que parecem sólidas numa população restrita podem não justificar afirmações de âmbito mais alargado. Outra questão frequente é se o padrão de referência é adequado e aplicado de forma consistente; padrões de referência inconsistentes podem comprometer a credibilidade do desempenho clínico, mesmo quando os resultados parecem positivos. Os revisores também questionam frequentemente se os parâmetros de avaliação refletem a utilidade clínica, ou seja, se a medida de desempenho é realmente relevante no processo de decisão clínica pretendido.

A utilização da literatura é outra área. Os organismos notificados procuram frequentemente uma avaliação crítica, e não apenas citações. Pretendem verificar se a literatura é relevante, se as limitações são compreendidas e se as conclusões não são exageradas. Isto está em consonância com os princípios de avaliação das evidências enfatizados no MDCG 2022-2.

Por fim, o planeamento pós-comercialização é cada vez mais escrutinado. Se houver incerteza (e quase sempre há), os avaliadores esperam ver um plano adequado que demonstre como a vigilância pós-comercialização e a PMPF irão reduzir a incerteza e confirmar o desempenho ao longo do tempo. Quando a gestão das evidências pós-comercialização é coerente, reforça todo o PER, pois demonstra que a confiança no desempenho é mantida de forma contínua, e não apenas assumida.

Conclusão

O quadro regulamentar do IVDR da UE redefine a avaliação do desempenho como uma disciplina contínua, e não como um exercício pontual de documentação. Espera-se que os fabricantes demonstrem que as alegações de desempenho têm fundamento científico, são analiticamente fiáveis e clinicamente significativas, e que essas alegações continuam a ser defensáveis à medida que o conhecimento científico evolui e as evidências do mundo real se acumulam.

Uma abordagem defensável à avaliação do desempenho no âmbito do IVDR assenta num planeamento claro, numa lógica de evidência coerente e numa rastreabilidade transparente. O Plano de Avaliação do Desempenho estabelece a base metodológica que liga a finalidade pretendida às alegações, aos parâmetros de avaliação, às fontes de evidência e aos métodos de avaliação. O Relatório de Avaliação do Desempenho do IVDR torna-se, então, a narrativa que demonstra o desempenho, justifica a suficiência das evidências, reconhece as limitações e explica como a incerteza residual é gerida ao longo do tempo.

A aprendizagem pós-comercialização é o ingrediente final que torna as evidências de desempenho duradouras. Uma vigilância pós-comercialização robusta e atividades específicas de PMPF transformam a avaliação de desempenho num sistema dinâmico, capaz de confirmar o desempenho na utilização de rotina, detetar tendências significativas e apoiar atualizações adequadas das evidências e conclusões, quando necessário. Quando estes elementos são integrados numa estratégia coerente de evidências ao longo do ciclo de vida, a avaliação de desempenho torna-se mais do que uma mera questão de conformidade: torna-se uma base duradoura para a confiança nos resultados de diagnóstico e na tomada de decisões clínicas.

Como a Freyr Pode Ajudar

A Freyr apoia os fabricantes de dispositivos de diagnóstico in vitro (IVD) com uma avaliação end-to-end , desde a definição da finalidade prevista e o reforço do desenvolvimento do plano de avaliação de desempenho até à elaboração de relatórios de avaliação de desempenho fundamentados e alinhados com as expectativas dos organismos notificados. Além disso, a Freyr ajuda os fabricantes a desenvolver relatórios de avaliação clínica (CER) alinhados com o Regulamento relativo aos dispositivos médicos (MDR) e sistemas de evidência clínica baseados no ciclo de vida, capazes de resistir ao escrutínio dos organismos notificados.

Se precisar de apoio para gerar dados de desempenho, conceber ou avaliar estudos, colmatar lacunas de dados ou criar um sistema de dados com ciclo de vida rastreável que integre a vigilância pós-comercialização, o PMPF e as obrigações relativas aos PSUR, fale com os nossos especialistas para obter orientação em todas as fases do ciclo de vida dos dados ao abrigo do IVDR.