Umfassender Leitfaden zu den Anforderungen der IVDR an die Leistungsbewertung und den Leistungsnachweis

Wie sieht ein fundierter Leistungsbeurteilungsbericht aus?

Ein stichhaltiger Leistungsbewertungsbericht (PER) gemäß der EU-IVDR ist nicht bloß eine Zusammenstellung von Studien. Es handelt sich um eine strukturierte, wissenschaftlich fundierte Darstellung, die die Leistung nachweist, die Hinlänglichkeit der Nachweise begründet und erläutert, wie die Leistung im Laufe der Zeit überwacht und aufrechterhalten wird.

Ein hochwertiger IVDR-Leistungsbewertungsbericht ermöglicht es einem Prüfer, mit minimalem Interpretationsaufwand folgende Fragen zu beantworten:

• Wozu ist das Gerät bestimmt und in welchem klinischen Kontext wird es eingesetzt?
• Auf welcher wissenschaftlichen Grundlage beruht der Zusammenhang zwischen dem Analyten und dem klinischen Befund?
• Wie zuverlässig arbeitet das Gerät unter den vorgesehenen Einsatzbedingungen?
• Inwieweit zeigt das Produkt in der Zielpopulation eine klinische Wirksamkeit?
• Inwiefern stützen die wissenschaftlichen Erkenntnisse die jeweilige Behauptung, und welche Einschränkungen bestehen?
• Warum reichen die Nachweise für den Verwendungszweck und die Risikoklassifizierung des Produkts aus?
• Wie tragen die Marktüberwachung und die Nachverfolgung der Leistungsfähigkeit nach dem Inverkehrbringen dazu bei, das Vertrauen in die Leistungsfähigkeit langfristig aufrechtzuerhalten?

Beabsichtigter Zweck als „Linse“ für alle Beweise

Einer der häufigsten Gründe, warum Leistungsnachweise schwer zu rechtfertigen sind, besteht darin, dass der Verwendungszweck auf einer allgemeinen Ebene beschrieben wird, während die Studien einen engeren oder anderen Kontext widerspiegeln. So verhält sich beispielsweise ein Test, der bei einer symptomatischen Population eingesetzt wird, anders als derselbe Test im Rahmen von Vorsorgeuntersuchungen. Unterschiede in der Krankheitsprävalenz, im Patientenspektrum, in den Vorhersagewerten und im Referenzstandard können zu unterschiedlichen Ergebnissen führen. Ein vertretbarer PER antizipiert diese Probleme, indem er den Verwendungszweck explizit darlegt und sicherstellt, dass die unterstützenden Nachweise mit diesem Verwendungszweck übereinstimmen.

Wissenschaftliche Validität als strukturiertes Argument

Wissenschaftliche Validität wird oft als eine Sammlung von Referenzen dargestellt, doch gemäß der IVDR soll sie als strukturierte und fundierte Argumentation fungieren. Sie sollte belegen, dass der Analyt in einem sinnvollen Zusammenhang mit der relevanten klinischen Erkrankung steht und dass dieser Zusammenhang den angegebenen Verwendungszweck des Produkts stützt.Die überzeugendsten Abschnitte zur wissenschaftlichen Validität stützen sich auf hochwertige Quellen wie klinische Leitlinien, Konsenserklärungen und peer-reviewte Übersichtsarbeiten, anstatt sich ausschließlich auf einzelne Studien zu stützen. Sie verdeutlichen zudem die Relevanz: warum die Evidenz für die Zielpopulation und den Verwendungszweck gilt.

Wenn die wissenschaftliche Fundiertheit schwach oder nur allgemein gehalten ist, fragen die benannten Stellen häufig, ob der Verwendungszweck des Produkts im Vergleich zum aktuellen Stand der Wissenschaft überbewertet ist. Aus diesem Grund ist es sinnvoll, die Argumentation zur wissenschaftlichen Fundiertheit an anerkannten Grundsätzen auszurichten, wie sie beispielsweise in MDCG 2022-2 beschrieben sind.

Analytische Leistungsfähigkeit als Zuverlässigkeit unter realen Bedingungen

Analytische Leistungsfähigkeit bedeutet, dass die Leistungsfähigkeit in messbare und wiederholbare Ergebnisse umgesetzt wird. Sie ist auch der Punkt, an dem das Studiendesign die routinemäßigen Anwendungsbedingungen realistisch widerspiegeln muss, einschließlich der Variabilität bei der Probenentnahme und -handhabung, von Umweltfaktoren, bedienerabhängigen Effekten (sofern zutreffend), Chargenschwankungen, potenziellen Störsubstanzen und der zeitlichen Drift der Messgeräte. Ein fundierter PER beschreibt nicht nur die Ergebnisse, sondern auch die Logik, die die analytischen Designs mit den vorgesehenen Anwendungsbedingungen verbindet.

Analytische Abschnitte gewinnen zudem an Aussagekraft, wenn sie einen Bezug zum Risikomanagement und zur Kennzeichnung herstellen. Bestehen bestimmte Einschränkungen, beispielsweise eine verminderte Leistungsfähigkeit bei Vorhandensein eines Störstoffs, wird die Nachvollziehbarkeit verbessert, wenn im PER erläutert wird, wie mit dieser Einschränkung umgegangen wird (Warnhinweise, Gebrauchsanweisungen, Akzeptanzkriterien, Qualitätskontrollmaßnahmen).

Die klinische Leistung als Test für die klinische Glaubwürdigkeit

Die klinische Leistungsfähigkeit ist für viele In-vitro-Diagnostika (IVD) der am stärksten unter die Lupe genommene Aspekt, da sie darüber entscheidet, ob ein Testergebnis im vorgesehenen Kontext einen aussagekräftigen Zusammenhang mit einem klinischen Zustand oder Ergebnis aufweist. Die zentrale Herausforderung besteht darin, dass die klinische Leistungsfähigkeit überbewertet werden kann, wenn das Studiendesign Verzerrungen mit sich bringt oder wenn Referenzstandards nicht korrekt angewendet werden. Aus diesem Grund sind die Verzerrungskontrolle, die Auswahl der Endpunkte und die Begründung der Referenzstandards von zentraler Bedeutung für eine fundierte klinische Evidenz.

Wenn es bei Nachweisen zur klinischen Leistungsfähigkeit um die diagnostische Genauigkeit geht, bietet QUADAS-2 einen nützlichen Ansatz. Dabei handelt es sich um ein häufig verwendetes Instrument zur Bewertung des Verzerrungspotenzials und der Anwendbarkeit in Studien zur diagnostischen Genauigkeit. QUADAS-2 konzentriert sich nicht darauf, ob die Ergebnisse positiv sind, sondern darauf, ob sie glaubwürdig sind. Eine zuverlässige Übersicht ist über QUADAS-2 (Universität Bristol) verfügbar. Hersteller müssen QUADAS-2 nicht als regulatorische Anforderung betrachten, doch ein Verständnis davon hilft dabei, die Studienberichterstattung an den Vorstellungen der Gutachter hinsichtlich der Glaubwürdigkeit auszurichten.

Diese Überlegungen gewinnen besondere Bedeutung, wenn klinische Leistungsergebnisse in fundierte regulatorische Schlussfolgerungen umgesetzt werden, da die Wahl der Studienkonzeption direkten Einfluss darauf hat, wie Prüfer die Glaubwürdigkeit und Anwendbarkeit bewerten. Ein strukturierter Ansatz zur Verzerrungskontrolle, Endpunktwahl, Begründung des Referenzstandards und Anwendbarkeitsbewertung – wie beispielsweise die bei der Konzeption einer klinischen Leistungsstudie beschriebene Methodik – trägt dazu bei, dass die klinischen Leistungsnachweise nicht nur statistisch fundiert, sondern auch klinisch aussagekräftig und im Sinne der IVDR prüfungsfähig sind.

Entwicklung von Belegen für die klinische Leistungsfähigkeit, die einer Überprüfung standhalten

Nachweise zur klinischen Leistungsfähigkeit sind nur dann stichhaltig, wenn sie eindeutig mit dem klinischen Behandlungsablauf und der Entscheidung verknüpft sind, zu der der Test beiträgt. Ein immer wiederkehrendes Problem bei Leistungsdossiers ist, dass Nachweise vorgelegt werden, ohne zu erläutern, wie das Ergebnis genutzt wird. Ein Screening-Test stellt andere Anforderungen an die Nachweisführung als ein Triage-Test; ein Überwachungstest stellt andere Anforderungen als ein diagnostischer Bestätigungstest.

Ein fundierter Ansatz beginnt damit, die Rolle des Tests zu klären:

• Welche klinische Entscheidung wird dadurch beeinflusst?
• Was passiert, wenn das Ergebnis positiv oder negativ ist?
• Welche Folgen haben falsch-positive und falsch-negative Ergebnisse?
• Welche Patientengruppen werden in der Praxis voraussichtlich getestet?

Sind diese Fragen geklärt, lassen sich Leistungsendpunkte leichter begründen. Kennzahlen zur diagnostischen Genauigkeit sind nicht nur statistische Werte, sondern stehen für Abwägungen. Der Sensitivität kann Vorrang eingeräumt werden, wenn eine nicht erkannte Erkrankung schwerwiegende Folgen hat. Der Spezifität kann Vorrang eingeräumt werden, wenn unnötige Eingriffe schwerwiegende Folgen haben. Vorhersagewerte gewinnen in Umgebungen mit geringer Prävalenz an Bedeutung, und eine stratifizierte Leistungsanalyse kann für wichtige Untergruppen gerechtfertigt sein, wenn sich in der klinischen Praxis signifikante Unterschiede zeigen.

Auch die Kontrolle von Verzerrungen spielt eine zentrale Rolle. Wenn bei der Patientenauswahl überproportional viele fortgeschrittene Fälle berücksichtigt werden, kann die Leistungsfähigkeit künstlich hoch erscheinen. Wenn sich die Referenzstandards zwischen den Standorten unterscheiden, können die Ergebnisse uneinheitlich ausfallen. Wird der Index-Test unter Kenntnis des Referenzstandards interpretiert, kann dies zu Verzerrungen führen. Eine fundierte Evidenzdarstellung berücksichtigt diese Risiken und erläutert, wie sie durch das Studiendesign gemindert werden.

Beweisführung nach der IVDR: Von „Wir haben Daten“ zu „Das reicht aus“

Eine der größten Herausforderungen bei der Leistungsbewertung gemäß der IVDR besteht darin, die Hinlänglichkeit der Nachweise zu begründen. Hersteller sind oft der Ansicht, dass umfangreiche Daten an sich schon überzeugend sein sollten, doch benannte Stellen beurteilen die Hinlänglichkeit unter anderen Gesichtspunkten: Übereinstimmung, Relevanz, Qualität und Begründung.

Die Hinlänglichkeit der Beweise wird im Kontext beurteilt. Zu den Faktoren, die häufig die Erwartungen an die Hinlänglichkeit beeinflussen, gehören:

• Risikoklasse und potenzieller Schaden durch fehlerhafte Ergebnisse
• Zweck und klinische Auswirkungen von Entscheidungen auf der Grundlage der Ergebnisse
• Komplexität des Tests und seine Auswertungsmöglichkeiten
• Verfügbarkeit alternativer Methoden und Versorgungsstandards
• Neuheit der Ansprüche bezüglich des Analyten oder der beabsichtigten Verwendung
• Die angegebene Bandbreite der Zielgruppen und Anwendungsbereiche

Hier erweist sich die MDCG-Leitlinie 2022-2 als besonders hilfreich, da sie den Gedanken bekräftigt, dass die Evidenzausreichendheit als fortlaufender Prozess begründet und aufrechterhalten werden muss. Zudem ermutigt sie die Hersteller implizit dazu, hinsichtlich der Einschränkungen Transparenz zu wahren und Unsicherheiten durch strukturierte Mechanismen nach dem Inverkehrbringen zu bewältigen.

Ein fundiertes PER enthält in der Regel eine ausdrückliche Begründung zur „Beweisführung“. Diese Begründung erläutert nicht nur, welche Nachweise vorliegen, sondern auch, warum diese für den beabsichtigten Zweck relevant und stichhaltig sind. Sie räumt ein, welche Aspekte die Nachweise nicht abdecken, und erläutert, wie die verbleibende Unsicherheit durch gezielte PMPF-Maßnahmen und die Überwachung nach dem Inverkehrbringen bewältigt wird.

In vielen Begutachtungen ist die Frage der Evidenzausreichendheit weit weniger umstritten, wenn sie transparent dargelegt wird und auf einer klaren regulatorischen Logik beruht. Wenn die Angaben angemessen abgegrenzt sind, die Endpunkte dem beabsichtigten klinischen Einsatz entsprechen, Einschränkungen anerkannt werden und Erkenntnisse aus der Nachmarktphase in das Evidenzsystem einfließen, wirkt die Begründung für die Evidenzausreichendheit schlüssig, vertretbar und im Verhältnis zum Verwendungszweck und Risiko des Produkts angemessen.

Marktüberwachung und PMPF: Die Leistungsfähigkeit langfristig nachweisen

Ein wesentliches Merkmal der IVDR ist ihre ausdrückliche Ausrichtung auf Nachweise über den gesamten Lebenszyklus. Medizinprodukte werden nicht nur beim Markteintritt bewertet; von ihnen wird erwartet, dass sie auch dann sicher und leistungsfähig bleiben, wenn sich die klinische Praxis, die Zielgruppen und die realen Anwendungsbedingungen weiterentwickeln. Aus diesem Grund ist die Überwachung nach dem Inverkehrbringen keine isolierte Aufgabe zur Einhaltung der Vorschriften. Sie ist Teil des Nachweissystems, das die Leistungsfähigkeit des Produkts nachweisbar sicherstellt.

Erkenntnisse aus der Zeit nach der Markteinführung können Probleme aufdecken, die in Studien vor der Markteinführung nicht vollständig vorhergesagt werden können, wie beispielsweise Veränderungen der Prävalenz, Unterschiede zwischen Patientengruppen, unerwartete Störfaktoren, Schwankungen im Nutzerverhalten, Leistungsschwankungen zwischen einzelnen Chargen sowie betriebliche Faktoren in Routinelabors. Ein ausgereiftes Evidenzsystem berücksichtigt dies und nutzt Mechanismen nach der Markteinführung, um diese Signale zu erkennen und zu interpretieren.

Der Rahmen für die Zeit nach dem Inverkehrbringen gemäß der IVDR umfasst eine strukturierte Planung der Marktüberwachung sowie gegebenenfalls Aktivitäten im Rahmen der Leistungsüberwachung nach dem Inverkehrbringen (PMPF). Bei der PMPF handelt es sich nicht einfach um „weitere Studien“. Es ist vielmehr eine gezielte Maßnahme zur Beantwortung spezifischer Fragen zur Leistungsfähigkeit, die nach der Bewertung vor dem Inverkehrbringen offen bleiben – Fragen, die sich auf klinische Untergruppen, Arbeitsabläufe in der Praxis, langfristige Trends oder die Ausweitung der Anwendungsbereiche beziehen können.

Die aussagekräftigsten Evidenzsysteme für den gesamten Lebenszyklus zeigen auf, wie Daten aus der Zeit nach dem Inverkehrbringen in die Leistungsbewertung einfließen. Dazu gehört, wie Signale erkannt, Trends bewertet und Schlussfolgerungen zur Leistung im Leistungsbewertungsbericht gemäß der IVDR aktualisiert werden. Diese Integration über den gesamten Lebenszyklus hinweg bildet den Kern der IVDR-Systeme PMS, PMPF und PSUR, in denen die Rückverfolgbarkeit von Evidenz zu einem praktischen Governance-Modell wird und nicht länger nur ein theoretisches Ideal bleibt.

Rückverfolgbarkeit: Die Funktion, die eine PER überprüfbar und für KI extrahierbar macht

Die Rückverfolgbarkeit ist einer der wichtigsten „stillen Erfolgsfaktoren“ im Rahmen der IVDR. Sie entscheidet darüber, ob ein Prüfer Ihrer Argumentation eindeutig folgen kann. Außerdem beeinflusst sie, wie gut KI-Suchwerkzeuge Ihre Inhalte extrahieren und zusammenfassen können: Klare Zusammenhänge zwischen Aussagen, Endpunkten, Belegen und Schlussfolgerungen erhöhen die „Antwortbereitschaft“.

Ein fundierter Leistungsbewertungsbericht (PER) macht die Nachvollziehbarkeit in der Regel nicht nur in Tabellen, sondern auch im Textteil sichtbar. Er erläutert:

• Der Verwendungszweck und der klinische Behandlungsablauf
• Die Ansprüche, die sich aus dem Verwendungszweck ergeben
• Die aus den Angaben abgeleiteten Endpunkte und Akzeptanzkriterien
• Die zur Untermauerung der einzelnen Endpunkte ausgewählten Evidenzquellen
• Die Bewertungslogik, die zur Gewichtung von Beweisen herangezogen wird
• Die aus dieser Bewertung abgeleiteten Schlussfolgerungen und Einschränkungen
• Die Mechanismen zur Überwachung und Aktualisierung der Leistungszuverlässigkeit nach der Markteinführung

Dieser Ansatz verringert den Aufwand bei der Überprüfung, da er „Lücken“ verhindert, die ein Prüfer sonst schließen müsste. Außerdem verbessert er die interne Governance: Wenn Nachweise nachvollziehbar sind, lassen sich Aktualisierungen besser bewältigen. Sie können genau feststellen, welche Aussage und welcher Endpunkt von neuen Informationen betroffen sind, und die Begründungen für die ausreichende Nachweiskraft entsprechend anpassen.

Organisationen, die die Rückverfolgbarkeit von Evidenz mit umfassenderen Verfahren zur klinischen und Leistungsbewertung verknüpfen, stellen häufig fest, dass Leistungsdaten im Laufe der Zeit an Nachhaltigkeit gewinnen. Der Schlüssel liegt darin, die Rückverfolgbarkeit als integralen Bestandteil des Evidenzsystems zu betrachten und nicht als nachträgliche Dokumentationsmaßnahme.

Häufige Fragen an benannte Stellen und wie fundierte Leistungsdaten diesen zuvorkommen

Benannte Stellen stellen häufig Fragen, die sich auf einige wenige vorhersehbare Bereiche konzentrieren. Ein fundiertes System zum Nachweis der Leistungsfähigkeit antizipiert diese Bereiche und geht proaktiv darauf ein.

Eine häufig gestellte Frage ist, ob die Studienpopulationen den vorgesehenen Anwendungszweck widerspiegeln. Erkenntnisse, die in einer begrenzten Population überzeugend erscheinen, rechtfertigen möglicherweise keine weitreichenden Aussagen. Eine weitere häufige Frage ist, ob der Referenzstandard angemessen ist und einheitlich angewendet wird; uneinheitliche Referenzstandards können die Glaubwürdigkeit der klinischen Leistungsfähigkeit untergraben, selbst wenn die Ergebnisse positiv erscheinen. Gutachter fragen zudem häufig, ob die Endpunkte den klinischen Nutzen widerspiegeln, d. h., ob die Leistungsmessgröße im vorgesehenen klinischen Entscheidungsprozess tatsächlich von Bedeutung ist.

Ein weiterer Bereich ist die Literaturverwertung. Benannte Stellen legen oft Wert auf eine kritische Bewertung der Literatur und nicht nur auf deren Zitierung. Sie möchten sehen, dass die Literatur relevant ist, dass deren Grenzen verstanden werden und dass Schlussfolgerungen nicht überbewertet werden. Dies steht im Einklang mit den in MDCG 2022-2 hervorgehobenen Grundsätzen zur Bewertung von Evidenz.

Schließlich wird die Planung für die Zeit nach der Markteinführung zunehmend genauer unter die Lupe genommen. Besteht Unsicherheit (was fast immer der Fall ist), erwarten die Prüfer einen angemessenen Plan, wie die Überwachung nach der Markteinführung und die PMPF diese Unsicherheit verringern und die Leistungsfähigkeit im Laufe der Zeit bestätigen werden. Ist die Steuerung der Nachmarkt-Evidenz kohärent, stärkt dies den gesamten PER, da dadurch gezeigt wird, dass das Vertrauen in die Leistungsfähigkeit kontinuierlich aufrechterhalten und nicht nur vorausgesetzt wird.

Fazit

Der EU-IVDR-Rahmen definiert die Leistungsbewertung neu als einen fortlaufenden Prozess und nicht als einmalige Dokumentationsmaßnahme. Von den Herstellern wird erwartet, dass sie nachweisen, dass Leistungsangaben wissenschaftlich fundiert, analytisch zuverlässig und klinisch aussagekräftig sind und dass diese Angaben auch angesichts des Fortschritts der wissenschaftlichen Erkenntnisse und der zunehmenden Verfügbarkeit von Daten aus der Praxis weiterhin vertretbar bleiben.

Ein fundierter Ansatz zur Leistungsbewertung gemäß IVDR basiert auf einer klaren Planung, einer schlüssigen Evidenzlogik und einer transparenten Rückverfolgbarkeit. Der Leistungsbewertungsplan bildet die methodische Grundlage, die den Verwendungszweck mit den Angaben, Endpunkten, Evidenzquellen und Bewertungsmethoden verknüpft. Der IVDR-Leistungsbewertungsbericht dient dann als Darstellung, die die Leistung belegt, die Hinlänglichkeit der Evidenz begründet, Einschränkungen anerkennt und erläutert, wie mit verbleibenden Unsicherheiten im Laufe der Zeit umgegangen wird.

Das Lernen nach der Markteinführung ist der letzte Baustein, der die Nachhaltigkeit von Leistungsnachweisen gewährleistet. Eine solide Überwachung nach der Markteinführung und gezielte PMPF-Maßnahmen machen die Leistungsbewertung zu einem lebendigen System, das die Leistung im Routineeinsatz bestätigt, aussagekräftige Trends erkennt und bei Bedarf angemessene Aktualisierungen der Nachweise und Schlussfolgerungen unterstützt. Wenn diese Elemente in eine kohärente Strategie für den gesamten Lebenszyklus integriert werden, ist die Leistungsbewertung mehr als nur eine Frage der Compliance: Sie wird zu einer tragfähigen Grundlage für das Vertrauen in diagnostische Ergebnisse und die Sicherheit bei der klinischen Entscheidungsfindung.

Wie Freyr helfen kann

Freyr unterstützt Hersteller von In-vitro-Diagnostika bei end-to-end – von der Festlegung des Verwendungszwecks über die Optimierung der Erstellung des Leistungsbewertungsplans bis hin zur Erstellung fundierter Leistungsbewertungsberichte, die den Erwartungen der benannten Stellen entsprechen. Darüber hinaus unterstützt Freyr Hersteller bei der Erstellung von MDR-konformen klinischen Bewertungsberichten (CERs) sowie bei der Entwicklung lebenszyklusbasierter klinischer Evidenzsysteme, die der Prüfung durch benannte Stellen standhalten.

Wenn Sie Unterstützung bei der Erhebung von Leistungsnachweisen, der Konzeption oder Bewertung von Studien, der Schließung von Evidenzlücken oder dem Aufbau eines nachvollziehbaren Evidenzsystems benötigen, das die Verpflichtungen im Bereich der Marktüberwachung, der postmarktbezogenen Sicherheitsüberwachung (PMPF) und der regelmäßigen Sicherheitsberichte (PSUR) integriert, wenden Sie sich an unsere Experten, die Sie in jeder Phase des IVDR-Evidenzzyklus begleiten.