„Ein kontinuierlicher Verbesserungsprozess“
Interview mit Prof. Dr. Jürgen Stausberg und Christian Jacke über die Anwendung der TMF-Leitlinie zur Datenqualität in der medizinischen Forschung
Christian Jacke, Prof. Dr. Stausberg
Januar 2011. Beim TMF-Workshop „Datenqualität“ am 4. April 2011 in Berlin werden Anwender von ihren Erfahrungen mit der 2007 publizierten TMF-Leitlinie zur Datenqualität berichten. Prof. Dr. Stausberg ist einer der Autoren der Leitlinie und wird den Workshop leiten. Christian Jacke von der Philipps-Universität Marburg wird bei dem Workshop mit seiner Arbeitsgruppe als Anwender dabei sein.
Das Interview führte Beate Achilles im Dezember 2010. Eine Kurzfassung erscheint in der Zeitschrift E-Health-COM 1 | 2011.
Herr Professor Stausberg, was ist die Idee für den Workshop „Datenqualität in der medizinischen Forschung“ und warum wird er gerade jetzt anberaumt?
Stausberg: Datenqualität ist eine ganz entscheidende Voraussetzung, um Datenbestände sachgerecht nutzen zu können. Wir nehmen wahr, dass in der medizinischen Forschung das Thema Datenqualität inzwischen an verschiedenen Stellen von methodischer Seite aufgegriffen wird. Mir sind konkret zwei Projekte bekannt, die sich systematisch mit der Verbesserung der Datenqualität auseinandersetzen. Das sind zum einen das Projekt zur Optimierung der Datenqualität von Kohortenstudien der Philipps-Universität Marburg und zum anderen das Open European Nephrology Science Center OpEN.SC der Charité Berlin.
Worum geht es bei der Leitlinie zur Datenqualität?
Stausberg: Für die Beurteilung der Qualität von Daten gibt es vor allem drei Gesichtspunkte: Die Vollzähligkeit der Beobachtungseinheiten – in diesem Falle der Patienten –, die Vollständigkeit der Daten, also der Umfang in dem die interessierenden Merkmale erfasst wurden, und schließlich die Richtigkeit der Daten, also die Übereinstimmung des Erfassten mit der Wirklichkeit. All diese Aspekte haben wir in der Leitlinie differenziert ausgearbeitet und berechenbar gemacht. Wer die Leitlinie richtig und konsequent anwendet, erhält 24 Kennzahlen, mit denen sich die Datenqualität beurteilen lässt.
Wie funktioniert die Sicherung der Datenqualität nach der Leitlinie?
Stausberg: Nach den Empfehlungen der Leitlinie ist die Messung der Datenqualität eingebunden in ein umfassendes Datenmanagement. Das Verfahren läuft zyklisch: Messen, Daten abgleichen, Rückmelden der Ergebnisse an die zuständigen Stellen. Bei hohen Fehlerquoten können die entsprechenden Stellen gezielt Verbesserungsmaßnahmen ergreifen. Anschließend wird mithilfe der Leitlinie erneut die Datenqualität bestimmt usw. Das Ziel ist ein kontinuierlicher Verbesserungsprozess.
Herr Jacke, Sie haben die Leitlinie bereits für ein Forschungsprojekt angewendet. Worum ging es dabei?
Jacke: Es ging um einen empirisch gestützten Effektivitätnachweis für ein zertifiziertes Brustkrebszentrum. Konkret handelt es sich um eine retrospektive Kohortenstudie, die durch den Vergleich zweier Perioden von 1996 bis 1997 und von 2003 bis 2004 Verbesserungen der Versorgungsqualität nachweisen soll. Diese soll sich erwartungsgemäß in einer höheren Überlebensdauer und Lebensqualität der Patientinnen niederschlagen. Die populationsbasierte Studie bezieht sich auf die stationäre Versorgung in drei Krankenhäusern im Landkreis Marburg-Biedenkopf (small area analysis), deren Mitarbeiter an der Datensammlung beteiligt waren.
Welche Erfahrungen haben Sie dabei mit der Leitlinie gemacht?
Jacke: Die Leitlinie erwies sich als sehr nützliches Instrument, um die vorhandene Datenqualität zunächst einzuschätzen und anschließend zu steigern. Die methodischen Erläuterungen und Hinweise sind in der Leitlinie gut aufbereitet, und man kommt in einem überschaubaren Zeitraum zügig zu Ergebnissen. Die Methodik ist eingängig und für eigene Zwecke leicht adaptierbar.
Bislang standen die verfügbaren, vielfältigen Prüfungen und Bewertungen der Datenqualität isoliert nebeneinander. Die Leitlinie bietet nun einen integrativen Bezugsrahmen, um die einzelnen Punkte in einem Scorewert zu verdichten. Dieser Bezugsrahmen kann flexibel angepasst werden, da die einzelnen Datenqualitätsscores (DQI) die Prüfvariablen nicht konkret festlegen. Die Methodik gestattet es, definierte Prüfvariablen in unauffällig und auffällig einzustufen, so dass für auffällige Daten eine Korrektur möglich wird.
Insgesamt habe ich mit der Anwendung der Leitlinie sehr gute Erfahrungen gemacht. Kodier-, Synchronisations- und Datenübertragungsfehler konnten identifiziert werden. Dadurch ließen sich im weiteren Forschungsprozess die mit der Datenqualität verbundenen Unsicherheiten ausschließen. Neben der Richtigkeit der Daten konnte die Reichweite der Aussagen qualifiziert werden.
Es gibt auch eine Software, die die Anwendung der Leitlinie unterstützt. Was kann diese Software?
Stausberg: Die Software ist ein Werkzeug, das den Anwender bei der Nutzung der Leitlinie im Datenmanagement und bei den entsprechenden Abläufen unterstützt. Ziel der Auswertungen ist wie gesagt nicht nur die Messung, sondern insbesondere die Verbesserung der Datenqualität. Die Software liefert einerseits eine Rückmeldung über die Zahl der Datenfehler in der Datensammlung, andererseits unterstützt sie den stichprobenartigen Abgleich mit den Originaldaten. Hier liegt ein ganz besonderer Vorteil: Stellt die Leitlinie für eine bestimmte Datensammlung eine hohe Qualität fest, kann die Zahl der Stichproben in den Originaldaten entsprechend verringert werden.
Sehen Sie noch zusätzliche Einsatzmöglichkeiten für die Leitlinie?
Stausberg: Eine weitere Anwendungsmöglichkeit ist die Auszeichnung von Datenbeständen mit einer Qualitätsnote. In Deutschland nutzen Wissenschaftler in der medizinischen Forschung häufig Datenbestände aus unterschiedlichen Quellen. Über die Auszeichnung der Datenbestände mit einer Qualitätsnote könnten sie sofort beurteilen, wie gut die Daten sind, die sie vor sich haben.
Werden Forschungsergebnisse besser, wenn Forschungsregister genutzt werden, die anhand der Leitlinie Datenqualität eingerichtet wurden?
Jacke: In jedem Fall. Bislang kommen trotz sorgfältigster Prozesse und Vorgehensweisen in Forschungsregistern immer wieder Fehler vor. Diese lassen sich schwer und nur mit sehr hohem Aufwand aufdecken, korrigieren und zukünftig vermeiden. Die Leitlinie bietet demgegenüber eine Möglichkeit, die Datenqualität systematisch zu steigern. Insbesondere wenn es um die Einschätzung der Genauigkeit oder der Vollständigkeit bzw. Vollzähligkeit von Daten geht, liegt ein transparenter und nachvollziehbarer Bewertungsrahmen vor. Register und deren Nutzer können daher durch die Anwendung der Leitlinie profitieren.
Bringt die Anwendung der Leitlinie auch wirtschaftliche Vorteile bei der Finanzierung medizinischer Forschungsregister und Studien? Kann man durch ihre Anwendung Geld sparen?
Stausberg: Man kann Geld sparen, da der Aufwand zielgerichtet dort eingesetzt wird, wo ein Problem zu vermuten ist. Die aufwändigen Originaldatenabgleiche werden nicht mehr nach dem Gießkannenprinzip durchgeführt, sondern nur dort, wo es Probleme gibt. Belastbare Zahlen zu den Einsparpotentialen der Leitlinie gibt es jedoch nach meiner Kenntnis bislang nicht.
Würden Sie es für sinnvoll halten, ein Validierungsprojekt hinsichtlich des Nutzens der Leitlinie durchzuführen?
Stausberg: Das halte ich auf jeden Fall für sinnvoll. Entsprechende Überlegungen in der TMF wurden jedoch zurückgestellt, weil seinerzeit ein Projekt zum Monitoring im Rahmen klinischer Studien durchgeführt wurde. Herr Jacke hat zwischenzeitlich gezeigt, dass die Leitlinie bei vertretbarem Aufwand eine Verbesserung der Datenqualität bewirken kann.
Was sind Ihre Erwartungen an den Workshop, Herr Jacke?
Jacke: Ich freue mich sehr darauf und erhoffe mir neue Denkanstöße, wie man die normativ-analytisch festgelegten Schwellenwerte, die den Kern der Leitlinie ausmachen, validieren könnte. Auch hoffe ich, neue Argumente für eine tiefer gehende Differenzierung zwischen Krebsregistern und Kohortenstudien zu sammeln.
Herr Prof. Stausberg, Herr Jacke, wir danken für das Gespräch!
Prof. Dr. Jürgen Stausberg ist am Institut für Medizinische Informationsverarbeitung, Biometrie und Epidemiologie (IBE) an der Ludwig-Maximilians-Universität München tätig. In der TMF wirkt er als Vertreter des Kompetenznetzes Hepatitis mit und ist stellvertretender Sprecher der Arbeitsgruppe IT-Infrastruktur und Qualitätsmanagement. Er ist Autor des Buches „Datenqualität in der Medizinischen Forschung, das 2007 in der TMF-Schriftenreihe erschienen ist.
Christian Jacke ist Diplom-Sozialwirt und hat die Leitlinie als Mitarbeiter in der Klinik für Gynäkologie, gynäkologische Endokrinologie und Onkologie an der Philipps-Universität Marburg angewendet und erprobt.