Jak czytać badania naukowe: piramida dowodów, recenzja i preprint

Doniesienie o „przełomowym badaniu” może opierać się na metaanalizie kilkunastu prób klinicznych albo na opisie jednego pacjenta. Waga takich dowodów jest zupełnie inna. Przeczytałem trzy angielskojęzyczne hasła Wikipedii (o hierarchii dowodów, recenzji naukowej i preprintach) i zebrałem z nich to, co pomaga rozróżniać mocne dowody od słabych. To tekst przeglądowy, a nie omówienie jednej pracy: opieram się na hasłach encyklopedycznych, nie na oryginalnych publikacjach.

Czym jest hierarchia dowodów

Hierarchia dowodów (poziomy dowodów) to heurystyka, czyli uproszczona reguła do porównywania siły wyników badań eksperymentalnych, zwłaszcza medycznych. Na siłę dowodu wpływają projekt badania (od opisu przypadku jednego pacjenta po zaślepioną randomizowaną próbę kliniczną) oraz mierzone punkty końcowe, np. przeżycie albo jakość życia.

W 2014 roku Jacob Stegenga zdefiniował hierarchię jako uporządkowanie metod według ich podatności na błąd systematyczny. Na szczycie jest metoda najmniej na ten błąd narażona.

W badaniach klinicznych najlepsze dowody skuteczności leczenia pochodzą głównie z metaanaliz badań z randomizacją (RCT). Najmniej istotne są opinie ekspertów, także w postaci konsensusu. Przy ocenie działań niepożądanych jest inaczej: przeglądy systematyczne wysokiej jakości badań z randomizacją stoją na równi z przeglądami systematycznymi badań obserwacyjnych.

Przykładowy ranking według Greenhalgh

Trisha Greenhalgh ułożyła rodzaje badań pierwotnych w następującej kolejności:

Jak powstawały kolejne systemy

Haslo wymienia wiele protokołów oceny. Warto znać te najważniejsze, bo wracają w wytycznych klinicznych.

1. 1973Czasopismo Nature wprowadza recenzję jako standardową praktykę
2. 1979Kanadyjska grupa Canadian Task Force on the Periodic Health Examination używa terminu po raz pierwszy
3. 1988Amerykańska grupa USPSTF publikuje wytyczne oparte na systemie kanadyjskim
4. 2000Oxford CEBM publikuje poziomy dowodów; zaczyna się współpraca GRADE
5. 2007System World Cancer Research Fund opisuje 4 poziomy dowodów
6. 2011Międzynarodowy zespół przebudowuje poziomy Oxford CEBM
7. 2017NIH wydaje politykę zachęcającą do składania preprintów

1. 1973: Czasopismo Nature wprowadza recenzję jako standardową praktykę
2. 1979: Kanadyjska grupa Canadian Task Force on the Periodic Health Examination używa terminu po raz pierwszy
3. 1988: Amerykańska grupa USPSTF publikuje wytyczne oparte na systemie kanadyjskim
4. 2000: Oxford CEBM publikuje poziomy dowodów; zaczyna się współpraca GRADE
5. 2007: System World Cancer Research Fund opisuje 4 poziomy dowodów
6. 2011: Międzynarodowy zespół przebudowuje poziomy Oxford CEBM
7. 2017: NIH wydaje politykę zachęcającą do składania preprintów

System kanadyjski miał trzy poziomy, z podziałem poziomu II. Poziom I to co najmniej jedno badanie z randomizacją, a poziom III to opinie uznanych autorytetów. Rekomendacje oceniano w skali A-E. Amerykańska grupa USPSTF zachowała te trzy poziomy, ale poziom II podzieliła na trzy podpoziomy.

Oxfordzkie Centre for Evidence-Based Medicine objęło poziomami nie tylko terapię i profilaktykę, lecz także testy diagnostyczne, markery rokownicze i szkody. Wersja z 2009 roku sięga od 1a (przeglądy systematyczne badań z randomizacją) do 5 (opinia eksperta bez jawnej krytycznej oceny).

System GRADE ocenia pewność dowodów i siłę rekomendacji. Powstał w 2000 roku jako współpraca metodologów, twórców wytycznych, biostatystyków, klinicystów i specjalistów zdrowia publicznego. Według hasła stosuje go lub poparło ponad 100 organizacji, m.in. Światowa Organizacja Zdrowia i brytyjski NICE.

Hasło wspomina też o systemach wąskich, np. protokole Saundersa i współautorów (sześć kategorii) czy amerykańskim rejestrze NREPP. Haslo zwraca uwagę, że dostępne protokoły rzadko rozróżniają skuteczność w warunkach idealnych od skuteczności w warunkach codziennej praktyki. W 2025 roku Francis PT zaproponował, by piramidy dla badań terapeutycznych i etiologicznych pokazywać osobno.

Krytyka: czy szczyt piramidy zawsze jest najlepszy

Hierarchie mają wpływowych krytyków. Zgodnie z hasłem, przegląd literatury krytycznej z 2011 roku wskazał trzy rodzaje zarzutów: dotyczące procedur medycyny opartej na dowodach (EBM), jej większej niż zakładano omylności oraz niepełności EBM jako filozofii nauki.

Poszczególni autorzy podnoszą m.in. że:

• Stegenga krytykuje umieszczanie metaanaliz na szczycie hierarchii. Worrall i Cartwright kwestionują założenie, że RCT muszą z natury być blisko szczytu.
• Concato (2004) uważał, że hierarchia daje RCT zbyt dużą władzę. Nie na każde pytanie badawcze można odpowiedzieć próbą z randomizacją, z powodów praktycznych lub etycznych, a dowody z innych badań mogą być istotne nawet wtedy, gdy istnieją dobre RCT.
• Christopher Blunt w pracy doktorskiej z 2015 roku doszedł do wniosku, że hierarchie są słabą podstawą stosowania dowodów w praktyce klinicznej. Jego zdaniem model GRADE pomija informacje o zmienności efektów leczenia i przyczynach różnych odpowiedzi na terapię.

Recenzja naukowa: sito, ale nie gwarancja

Recenzja to ocena pracy przez osoby o podobnych kompetencjach. W środowisku akademickim służy ustaleniu, czy praca nadaje się do publikacji. Recenzenci są ekspertami w danej dziedzinie i pozostają anonimowi. Za ojca nowoczesnej recenzji naukowej uchodzi Henry Oldenburg (1619-1677), a czasopismo Nature uczyniło ją standardem w 1973 roku. Według hasła najlepsze czasopisma odrzucają ponad 90% nadesłanych prac.

Hasło nie ukrywa jednak słabości systemu:

• Recenzja redakcyjna jest silnie stronnicza wobec badań z wynikami zerowymi. To tzw. błąd publikacji, który zniekształca bazę wiedzy w nauce i medycynie.
• Problemem bywa „podwójna rola”: ci sami ludzie oceniają innych i są oceniani, co może skłaniać do strategicznych zachowań.
• Według ankiety przeprowadzonej przez Nature wykorzystywanie sztucznej inteligencji do wspomagania recenzji lub wykonywania jej zostało potwierdzone, także w sposób niezgłaszany. Opisano też nieliczne przypadki wstawiania do preprintów niewidocznych dla człowieka poleceń, by zmanipulować zautomatyzowaną ocenę.
• Jako ulepszenia lub alternatywy wymienia się m.in. loterię przy przyznawaniu grantów, raporty rejestrowane (registered reports) i replikację recenzencką.

Preprint: praca przed recenzją

Preprint to wersja pracy naukowej poprzedzająca formalną recenzję i publikację w czasopiśmie. Publikacja w czasopiśmie trwa tygodnie, miesiące, a nawet lata, więc naukowcy dzielą się manuskryptami wcześniej. Pozwala to uzyskać opinie kolegów, ustalić pierwszeństwo odkrycia, a według hasła także zniechęcić konkurencję do patentowania.

Z drugiej strony wiele czasopism zabrania lub zniechęca do powoływania się na preprinty w bibliografii, bo nie uznaje ich za wiarygodne źródła. W ocenach dorobku (np. przy awansie) preprinty nie mają dużej wagi, chyba że stają się podstawą recenzowanej publikacji.

Nie znaczy to, że preprint jest bezwartościowy. W latach 2002-2003 Grigorij Perelman opublikował na arXiv serię preprintów z dowodem hipotezy Poincarégo. Zaproponowano mu milion dolarów Nagrody Milenijnej i Medal Fieldsa, ale odmówił obu. W pierwszych miesiącach pandemii COVID-19 recenzja okazała się zbyt wolna, więc fala prac trafiła do obiegu jako preprinty. Razem z artykułami z tradycyjnych czasopism przyczyniło się to do największego w historii rocznego wzrostu liczby publikacji naukowych.

Jak to wykorzystać przy czytaniu newsów

Poniższe wskazówki to moja interpretacja, nie lista z hasła:

1. Sprawdź, jaki to rodzaj badania: metaanaliza, RCT, kohorta czy opis przypadków.
2. Zobacz, czy praca przeszła recenzję, czy jest preprintem.
3. Pamiętaj, że pojedyncza praca, nawet z wysokiego poziomu, nie zamyka sprawy, a brak wyników zerowych w literaturze może wynikać z błędu publikacji.

Żeby szybko ocenić konkretną pracę z nagłówka, przygotowałem kalkulator siły dowodu: pięć pytań i wynik na skali.

Pytania i odpowiedzi

Co jest na szczycie piramidy dowodów w medycynie?

Według hasła do oceny skuteczności leczenia najlepsze są metaanalizy badań z randomizacją (RCT). Najmniej istotne są opinie ekspertów, także w formie konsensusu. W kwestii działań niepożądanych przeglądy badań obserwacyjnych stoją na równi z przeglądami RCT.

Czy preprint oznacza, że wyniki są niewiarygodne?

Nie. Preprint to po prostu wersja sprzed recenzji, więc nie przeszła jeszcze tej kontroli. Hasło podaje przykład prac Perelmana z arXiv, które zawierały dowód hipotezy Poincarégo.

Czy recenzowana praca jest zawsze pewna?

Nie. Recenzja jest sitem, a nie gwarancją. Hasło wskazuje m.in. na stronniczość wobec wyników zerowych i zjawisko podwójnej roli recenzenta.

Czym jest GRADE?

To metoda oceny pewności dowodów oraz siły rekomendacji, rozwijana od 2000 roku. Według hasła korzysta z niej lub poparło ją ponad 100 organizacji, m.in. WHO i NICE.

Źródła

• Wikipedia (en) - Hierarchy of evidence
• Wikipedia (en) - Peer review
• Wikipedia (en) - Preprint

Widzisz błąd albo nieścisłość? Napisz - poprawię i dopiszę datę aktualizacji.