Cachalot schrieb:Die Frage war ja ob eine Studie als seriös einzustufen ist
OK. Aber auch dafür braucht man ein bisschen Hintergrundwissen oder zumindest ein Verständnis dafür, wie man das sinnvoll bewerten kann. Viele bewerten die Seriosität danach, inwieweit etwas der eigenen Sichtweise entspricht. Nicht danach, welche Kontrollmechanismen es z.B. gibt.
simulakron schrieb:Heuristik und Entscheidung auf Erfahrungswerten ist nicht das Gleiche wie raten!
Anekdotische Evidenz ist wie raten. Weil es reiner Zufall ist, was Du im Zuge Deiner persönlichen Erfahrungen (oder der aus Deiner Umgebung) erlebt hast. Da fehlt Dir einfach die Einordnung in den Kontext bzw. die Gesamtsituation.
Das generiert leider auch eine Scheinsicherheit, weil man seine Ergebnisse aus einer nicht-repräsentativen Menge bezieht. So was kann nur schief gehen. Diese Ergebnisse sind für die Ausgangswerte plausibel - nicht aber für die Gesamtsituation.
simulakron schrieb:Das man schnell zu Overfitting tendiert
Das ist gar nicht der Punkt, den ich meine. Sondern dass man grundlegende Muster als Laie schon nicht gut erkennt, wenn das Thema schwierig ist. Also nicht laienhaft und ohne Vorkenntnisse korrekt erfassbar.
simulakron schrieb:Sehr, sehr vieles ist Statistik und Methodik.
Aber Du musst wissen, wie Du Statistik und Methodik anwendest. Schon daran scheitern viele. Weil es oft nicht intuitiv ist. Alleine schon zu wissen, was eine Statistik aussagt und was nicht, muss man lernen.
simulakron schrieb:Ich muss ja nicht jedes Detail der Reaktionsketten und Wechselwirkungen mit dem Stoffwechsel und was sonst noch alles, eines Medikamentes verstehen
Aber Du brauchst ein grundlegendes Verständnis dieses Bereichs, um die Ergebnisse einordnen und bewerten zu können.
simulakron schrieb:wenn ich beispielsweise sehe, dass man neue Probanden in die Studie eingeführt hatte, dass sie unplanmässig vorzeitig beendet wurde, usw.
Und was schließt Du daraus, wenn Du das siehst? Du musst ja das Studiendesign grundlegend verstehen, um zu erkennen, ob oder inwieweit diese Umstände ein Problem sind.
simulakron schrieb:Man kann sich ja auch einarbeiten, was heisst denn "Laie" und "Experte", kann man das definieren?
Man kann sich einarbeiten. Aber wie stellt man fest, ob man sich genug eingearbeitet hat? Man wird sich ja nicht prüfen können.
Je schwieriger ein Thema wird, desto anfälliger für "ich laufe in die falsche Richtung" ist ein Selbststudium. Weil man schon gar nicht erkennen kann, was wichtig ist und was nicht. Und ob man etwas richtig verstanden hat oder nicht.
Die ganzen "Flat-Earthler" absolvieren auch ein "Selbststudium". Ihnen fehlt nur das grundlegende Wissen, so dass sie mit ihren Schlussfolgerungen - so schlüssig sie in ihrer Gedankenwelt auch sein mögen - im Ergebnis auf die Nase fallen.
Und die Frage, wann man Experte und wann Laie ist, hängt mit der Komplexität und Art des Themas zusammen. Ein Kfz-Mechaniker ist sicherlich Experte im Bereich "Motor", wenn es um bestimmte Reparaturen oder Einstellungen geht. Geht es um Strömungsverhalten des Luft-Treibstoff-Gemischs im Zylinder unter bestimmten Bedingungen, ist das auch das Thema "Motor", wird aber typischerweise die Expertise eines Kfz-Mechanikers übersteigen. So wie es umgekehrt die Expertise eines Ingenieurs oder Physikers übersteigen könnte, der zwar das Strömungsverhalten versteht, einen Motor aber nicht korrekt zum Laufen bringt.
Man kann aber sicherlich sagen: Je komplexer (schwieriger) ein Thema ist, desto spezieller muss die Kenntnis sein, es verstehen zu können.
simulakron schrieb:aber es wird meinem Eindruck nach doch immer wieder so getan, als sei das eben doch so, insbesondere, wenn es gerade die eigene Perspektive stützt. Ich weiss nicht, ob man noch von Umständen sprechen kann, mein persönlicher Eindruck ist, dass das ganze systemisch ist.
Mein Eindruck ist nicht so. Das kann sicher daran liegen, dass viele schon nicht verstehen, wie wissenschaftliches Arbeiten funktioniert. Was es aussagt und was es nicht aussagt. Aber da drehen wir uns im Kreis. Es braucht schon ein Ausgangsverständnis, um eine Expertise bewerten zu können. Mit Logik alleine kommt man da nicht weiter.