Przedstawiamy zarejestrowane raporty, nowy sposób na uczynienie nauki solidną



Wyobraź sobie młodego, odważnego naukowca, którego zadaniem jest pozornie niemożliwe przedsięwzięcie. Aby zyskać przychylność naukowej rodziny królewskiej, musieliby udowodnić swoją wartość, robiąc to, co zrobiło niewielu naukowców: powtórzyć znany wcześniej fakt. Teraz dzielny naukowiec wiedział, że podróż przed nim jest długa, niebezpieczna i pełna wyzwań. Szanowani starsi społeczeństwa naukowego wyśmiewali się z tego pomysłu, inni wyrazili poważne uprzedzenia, a na koniec skończyły się granty.

Replikacja w ogóle nie działała. W tym smutnym stanie nasza naukowiec weszła do pubu i entuzjastycznie opisała znaczenie swojego pomysłu na replikę kilku współpracownikom. Jej rówieśnicy z zachwytem napisali go w nowej oprawionej w skórę książce pt Zarejestrowane raporty, a po pewnej kontroli dokładności zagwarantowali jego wydruk. Po kilku miesiącach raport młodego naukowca został ogłoszony w najnowszym zwoju Opublikuj lub zgiń.

To nie jest bajka. Replikacja lub dochodzenie do podobny wyniki podczas zbierania Nowy dane, to ciągły problem nękający przede wszystkim życie i nauki społeczne. Czasami znaną jako wyzwanie replikacji przeszkody tej nie należy mylić z wyzwaniem odtwarzalności: co oznaczałoby na przykład, że nasz genialny naukowiec walczyłby o dojście do podobnie wyniki przy użyciu oryginalny metodologia. Chociaż te dwa horrory wpływają na wiele dyscyplin, badania obrazowania mózgu są na nie szczególnie wrażliwe, biorąc pod uwagę dużą ilość danych, które dostarcza każdy projekt. Jednak tylko wyraźnie zachęcaj autorów do. Wyzwania związane z powtarzalnością i odtwarzalnością, wraz z niską mocą statystyczną oraz tendencyjnością w publikowaniu i badaczach, czynią podróż młodego naukowca prawdziwie zdradzieckim.

Przyjrzyjmy się bliżej (co można określić tylko jako) tej wyczerpującej odysei do publikacji.

Najpierw rzucić rękawicę: Niska moc statystyczna – czyli bardzo mała szansa, często znacznie mniejsza niż główki lądujące w rzucie monetą, aby uzyskać statystycznie znaczący wynik – utrudnia wykrycie efektu. W wielu dziedzinach, w tym w neuronauce, moc statystyczna, którą nasz młody naukowiec musiałby powtórzyć wielokrotnie ten sam eksperyment, aby go rzeczywiście znaleźć. Nasz młody naukowiec jest jednak zajęty. I biedny. Nie ma na to czasu. Cholera, nikt nie ma na to czasu! Co gorsza, w połączeniu z kolejną przeszkodą, stronniczość publikacji, zwiększa zgłaszane efekty, co dodatkowo zagraża odtwarzalności.

Bias publikacji to tendencja do zgłaszania tylko pozytywnych ustaleń, ale efekt ten w dużej mierze zależy od czasopisma. Większość czasopism publikuje głównie wyniki istotne statystycznie, co irytująco prowadzi do jeszcze jednego problemu zwanego efektem szuflady plików: badań, które (tak zwane ustalenia zerowe) rzadziej zostaną przedłożone do publikacji niż te, które dają statystycznie znaczące wyniki. Co więcej, z tych kilku opublikowanych badań z zerowymi ustaleniami, większość ma prawdopodobnie zbyt małą moc, aby wykryć badane zjawisko. Jako takie pozostają nieprzekonujące, a zatem pozbawione informacji.

Odpowiednio napędzane badania mają kluczowe znaczenie dla dokładnego zaprojektowania przyszłych eksperymentów i pomocy naukowcom w powtórzeniu wcześniejszych prac. To prawda, że ​​badania obrazowania mózgu są bardzo kosztowne, a badacze mogą wykorzystać tę dyskrecję, aby uzyskać coś do opublikowania przez cały czas i wysiłek poświęcony eksperymentowi. Dlatego niektórzy słusznie martwią się, że opublikowana literatura pokazuje nam tylko wierzchołek góry lodowej.

I właśnie wtedy, gdy nasz młody naukowiec pomyślał, że jej podróż nie może być bardziej niebezpieczna, spojrzała w lustro i napotkała własne uprzedzenia! Niektórzy badacze nieumyślnie wybrali opcję tylko publikują informacje, które pasują do ich fabuły (wybieranie czereśni), ignorując w ten sposób różne istotne informacje niezbędne do replikacji. Inni badacze niezamierzenie lub celowo poprawiaj analizy danych, aby przenieść znaczące wyniki do domu lub postawić hipotezę po poznaniu wyników. W szczególności dane z obrazowania mózgu dają wiele możliwości dostrajania, ponieważ ich analiza obejmuje wiele etapów, a na każdym etapie naukowcy mogą wybierać spośród różnych metod i poprawek. Oczywiście próba odtworzenia wyników uzyskanych przy użyciu tych wątpliwych praktyk badawczych jest trudna, jeśli nie niemożliwa.

Ale co to jest? Znikąd nadeszły zarejestrowane raporty (RR) – na białym koniu w lśniącej zbroi. Ten zupełnie nowy format publikacji może rozwiązać wszystkie te drażliwe problemy, ponieważ prosi naukowców o zadeklarowanie swoich metod przed zbieranie danych. Naukowcy przedstawiają swoje hipotezy i sposób, w jaki chcą je przetestować, a następnie stwierdzenia te są oceniane przez panel recenzentów, którzy sprawdzają, czy uzasadnienie badania jest prawidłowe i czy projekt, proponowane metody i testy statystyczne są odpowiednie (patrz grafika poniżej).

Najlepsza część? Po przesłaniu zaznaczenia wszystkich pól autorzy mają gwarancję opublikowania swojej pracy bez względu na wyniki. Z pomocą RR nasz młody naukowiec może bezpiecznie zakończyć tę niebezpieczną podróż i, co więcej, zagwarantować publikację. Chociaż koncepcja zarejestrowanych raportów rodzi się, jej wpływ na wyzwanie związane z replikacją (jeśli jest właściwie zastosowany) ma wpływ na wiele poziomów.

Gwarancja publikacji jest jedną z głównych korzyści oferowanych przez RR. Ostatnie wstępne ustalenia sugerują, że format skutecznie zwalcza stronniczość publikacji, tak że ponad 60 procent zerowych wyników trafia na powierzchnię, w porównaniu z zaledwie 5 do 20 procentami w tradycyjnej literaturze. RR wymagają przejrzystej dokumentacji, a tym samym zachęcają do korzystania z innych otwartych metod naukowych, takich jak udostępnianie danych, kodu komputerowego i materiałów, które pozwalają innym powielać i odtwarzać wyniki. Są więc mężnymi sługami.

Ale czy RR mogą również wyeliminować dylemat publikowania lub ginięcia? Jak w przypadku wszystkich nowych inicjatyw czas pokaże. Czas jest z pewnością kluczowym wyzwaniem w tym procesie, ponieważ wstępne planowanie wymaga od naukowców skrupulatnego zbadania efektu, który chcą zbadać przed mogą przeprowadzić rzeczywisty eksperyment. Format wymaga wysokich standardów (na przykład przejrzystej dokumentacji, archiwizacji i kontroli jakości), więc poszczególne projekty trwają dłużej i można wykonać mniej.

Będąc odważnym (i nie zapomnij sprytnym) pionierem, nasz młody naukowiec zastanawia się, czy nie przegapi szansy na konkurs stypendialny, który często wymaga dużego dorobku publikacyjnego. RR pozostają pionierską pracą, ustanawiając wyższe standardy w zakresie przejrzystego raportowania i kontroli jakości. Tak długo, jak standardy te są szerzej wymagane przez czasopisma, a wyższe wysiłki są wystarczająco akredytowane przez skarbników (tj. Instytucje finansujące), publikowanie badań naukowych pozostaje grą liczbową.

Mając na uwadze powyższe zastrzeżenia, koncepcja zarejestrowanych raportów wydaje się obiecującą inicjatywą, która może poprawić przejrzystość, ważność i wiarygodność wszystkich badań – ale w szczególności badań obrazowania mózgu – a tym samym poprawić jakość publikowanych badań. Co najlepsze, mogą przekształcić bajkę publikacji w rzeczywistość dla każdego młodego naukowca. A kto nie chciałby żyć długo w życiu akademickim?

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *