Multisensory Integration of Emotional Stimuli: an fMRI of the Immediate and Enduring Effects of Emotional Film and Music

Abstract

Responding appropriately in social contexts depends on the integration of emotional information from multiple sensory organs into a coherent construct of a situation. Research has identified a multisensory integration network of anterior superior temporal gyrus (aSTG), fusiform gyrus (FG), and amygdala (AMY; Pehrs et al., 2014; Pehrs et al. 2015). In the present study, largely based on Pehrs et al. (2014), two groups saw sad or happy film clips during fMRI scanning, coupled with alternating sad, happy or no music. The imaging results demonstrated increased STG activity during happy music and increased activity in default mode network (DMN) related areas during sad music. Incongruent audiovisual presentations were associated with increased activity in inferior temporal gyrus/temporal pole (ITG/TP) and medial prefrontal cortex (mPFC). The involvement of the aSTG-FG-AMY network in multisensory integration of emotional information was demonstrated with emotion-specific changes in connectivity. Congruent presentations of happy music and film were associated with increased coupling strength from FG to AMY, in contrast to previous findings of decreased coupling strength in the congruent condition (Pehrs et al., 2014). Sad visual stimuli produced increased network connectivity independent of the music, suggesting an increased information flow from AMY to FG, with aSTG as a mediator. Resting state data revealed attenuated connectivity between dorsal anterior cingulate cortex (dACC) and the posterior default mode network (DMN) in the group that had watched the sad film clips, showing enduring effects of emotional audiovisual stimuli on resting state activity.

Passende responser i sosiale kontekster er avhengig av å kunne integrere emosjonell informasjon fra flere sanseorganer til en sammenhengende representasjon. Tidligere forskning har identifisert et nettverk for multisensorisk integrasjon, bestående av anterior superior temporal gyrus (aSTG), fusiform gyrus (FG) og amygdala (AMY; Pehrs et al. 2014; Pehrs et al. 2015). I denne studien, som i stor grad er basert på arbeidet til Pehrs og kollegaer (2014), så to grupper triste eller glade filmklipp under scanning i en funksjonell MRI-maskin, mens de lyttet til enten glad, trist eller ingen musikk. fMRI-resultatene demonstrerte økt STG-aktivitet ved glad musikk og økt aktivitet i områder relatert til default mode network (DMN) ved trist musikk. Presentasjoner av inkongruent audiovisuell stimuli var assosiert med økt aktivitet i inferior temporal gyrus/temporal pol (ITG/TP) og medial prefrontal cortex (mPFC). Rollen til aSTG-FG-AMY-nettverket i multisensorisk integrasjon av emosjonell informasjon ble demonstrert, med emosjonsspesifikke endringer i konnektivitet. Kongruente presentasjoner av glad musikk og film var assosiert med forsterket kobling fra FG til AMY, dette i kontrast til tidligere funn av redusert kobling i den kongruente betingelsen (Pehrs et al., 2014). Trist visuell stimuli produserte forsterket konnektivitet i nettverket, uavhengig av musikken. Dette antyder en økt informasjonsflyt fra AMY til FG med aSTG som en mediator. Resting state-resultatene viste dempet konnektivitet mellom dorsal anterior cingulate cortex (dACC) og posterior DMN i den gruppen som hadde sett på triste filmklipp. Dette viser vedvarende effekter av emosjonell audiovisuell stimuli på resting state-aktivitet.