@doreeEine einzelne Studie sagt erstmal nicht viel aus, wenn es nicht gerade eine sehr große Studie ist, die hochsignifikante Ergebnisse erzeugt. Sie gibt nur einen Hinweis in welche Richtung es wahrscheinlich geht. Erst wenn es schon mehrere Studien zu einer Hypothese gibt, kann man eine vernünftige Bewertung abgeben.
Die Gesamtlage der Studien zu einer Hypothese wird in Reviews zusammengefasst. Hierbei werden die einzelnen Studien geprüft und bewertet, inwiefern Maßnahmen ergriffen wurden, die Voreingenommenheit der Studienteilnehmer nicht in die Studie einfließen zu lassen. Das betrifft zum Teil die Punkte die ich in meinem letzten Post angesprochen habe.
- war es eine Pilotstudie oder eine vollwertige?
- wie wurde die Hypothese formuliert?
- wieviele Teilnehmer gab es?
- wie wurden Probanden ausgewählt?
- wurde ordentlich randomisiert?
- wurde hinreichend verblindet?
- wieviele Messparameter gab es?
- machen die Messparameter überhaupt Sinn?
- wurde die passende statistische Methode zur Auswertung ausgewählt?
- wurden die Methoden überhaupt vollständig offengelegt?
u.s.w.
Idealerweise findet so eine Auswertung blind statt. Soll heißen, der Reviewer kennt das Ergebnis der Studien nicht bevor er die Bewertung durchführt. Entsprechend dieser Auswertung bekommen die Studien einen 'Qualitätswert' und dann werden z.B. nur die Studien weiter ausgewertet die einen Mindestwert erreichen.
Man kann dann noch auf Publikationsfehler prüfen. Grob vereinfacht: Stichproben streuen üblicherweise symmetrisch um einen Mittelwert. Ist die Streuung allerdings asymmetrisch weist das auf einen Publikationsfehler hin.
Bei der eigentlichen Auswertung geht es am einfachsten, wenn die Studien alle das Gleiche betrachten also die gleiche Therapie für die gleiche Erkrankung und der gleiche Messparameter. Dann kann man alle Daten in einen Topf werfen und zusammen auswerten, und bekommt dann einen entsprechenden p-Wert dafür raus.
Geht das nicht muss man direkt die p-Werte nutzen oder andere scores aus den Studien ableiten. Idealerweise sollte das Vorgehen auch hier vor der eigentlichen Auswertung festgelegt werden.
So ein Review ist auch noch keine abschließende Wertung. Wenn es mit der Zeit mehrere Reviews gibt kann man diese auch wieder bewerten und einordnen, je nachdem ob die Bewertung verblindet war, der gewählte score geeignet u.s.w.
Eine Endgültige Aussage gibt es im Grunde nie, aber mit der Zeit kristallisiert sich heraus, ob die Hypothese wahrscheinlich richtig oder wahrscheinlich falsch ist. Und das eben auch relativ objektiv wenn die Kriterien eingehalten werden.