A Wild Choose Chase: Exploring Researcher Degrees of Freedom in Event-Related Potential Preprocessing Through Multiverse Analysis

Abstract

Begrepet forskeres frihetsgrader («researcher degrees of freedom») refererer til de ulike metodologiske valgene som må gjøres av forskere som utfører en vitenskapelig studie. Ethvert resultat fra en studie er et produkt av en mengde valg tatt av forskere og kan være et falskt positivt resultat. I denne elektroencefalografi (EEG) -studien har vi brukt multiversanalyse til å utforske 768 ulike preprosesseringsplaner for ERP-data fra 30 deltakere. Ved å utforske mange ulike preprosesseringsplaner i stedet for kun én, kan en oppnå en mer representativ beskrivelse av underliggende fenomener. Den eksperimentelle oppgaven brukt i studien er en replikasjon av en tidligere studie som undersøkte hvordan det hendelses-relaterte potensialet («event-related potential», ERP) tilbakemeldings-relatert negativitet («feedback-related negativity», FRN) er mer fremtredende når negativ tilbakemelding er uventet. Til slutt viste de fleste preprosesseringsvalgene seg å gi lignende resultater, bortsett fra valget om ERP-komponent-kvantifisering. Nesten ingen av preprosesseringsplanene som brukte gjennomsnittsamplitude til å kvantifisere FRN støttet den opprinnelige hypotesen, men nesten alle preprosesseringsplanene som brukte differansebølger støttet den opprinnelige hypotesen. Ulike måter å håndtere utliggere på, og ulike valg av elektroder i analysene førte til små forskjeller i resultatene. Multiversanalyser kan brukes til å studere påvirkningen på resultater fra ulike metodologiske valg under og etter preprosessering, og hvorvidt resultatene er konsekvente på tvers av metoder kan fortelle oss noe om resultatenes robusthet.

The term researcher degrees of freedom refers to the different methodological choices to be made by researchers conducting a study. Any result from a study is the product of a multitude of choices made by the researchers and may well be a false positive result. In the current electroencephalography (EEG) study a multiverse analysis was used to explore 768 different preprocessing pipelines for EEG data of 30 participants. By exploring multiple options in preprocessing rather than only one, a more representative description of the underlying phenomenon can be achieved. The experimental task employed in the study is a replication of an earlier study investigating whether the feedback-related negativity (FRN) component is more pronounced when negative feedback is unexpected. Overall, most preprocessing choices except for ERP component quantification converged on similar results. Almost none of the pipelines utilising a mean amplitude approach to quantify the FRN supported the original hypothesis, while almost all of the pipelines assessing the FRN as a local peak in a difference wave supported the original hypothesis. Different ways of handling outliers and including different electrodes in the analyses introduced small differences in the results. Multiverse analyses can be used to uncover the influence of different methodological choices during and after preprocessing. This can provide information about the robustness of experimental findings by showing whether they are consistent across methods.