Multiparametric brain MRI and deep learning models applied to segmentation and prediction in patients with glioma

Abstract

Avhandlingen undersøker metoder og algoritmer for hjernetumor (gliom) segmenter- ing, med prediksjon av histologisk gradering, og anatomisk profilering fra MR-bilder. En viktig motivasjon for dette arbeidet har vært betydningen for både klinisk praksis og grunnleggende biologisk forskning av deteksjon, kvantifisering og visualisering av hjernesvulster og distinkte svulstkomponenter, basert på informasjon som kan hentes fra de digitale 3-dimensjonale bildedata i en multiparametrisk MRI-undersøkelse av hodet og hjernen. En viktig begrunnelse for dette arbeidet er ny innsikt fra dyplærings- metodologi, multiparametrisk MRI, og bildebaseret deteksjon og oppfølging av pasien- ter med gliom sett i sammenheng med persontilpasset medisin og presisjonsavbildning.

De viktigste bidragene fra denne avhandling er samlet i tre arbeider (papere) og tilhørende program-kode og kan tre-deles i henhold til hvert av disse delarbeider: (i) Dyplærings-basert segmentering av subregioner i gliomer (Paper I) (ii) Dyplærings-basert ikke-invasiv gradering av gliomer (Paper II) (iii) Metode for automatisert anatomisk lokalisering og profilering av gliom (Paper III)

Studien er basert på flere tusen MRI-opptak fra internasjonale, vel kurerte databaser, der pasientene alle har gitt sitt informerte samtykke til å dele disse data til forskn- ingsformål, og er et eksempel på viktigheten av åpen vitenskap og tilrettelegging for reproduserbar forskning.

Mer spesifikt representerer resultatene produsert i min avhandling gjennom Paper I, II, og III flere fremskritt innen muliggjørende teknologier for vurdering av gliom ved bruk av multiparametrisk MRI (mpMRI). Disse forbedringene er relatert til flere nøkkelområder:

Avansert gliom-segmentering: Avhandlingen introduserer en modifisert U-Net arkitektur, kalt MEU-Net, for segmentering av gliom sub-regioner fra mpMRI-opptak. Dette representerer et teknologisk fremskritt i segmenteringsnøyaktighet og detaljer- ing, og muliggjør en mer presis analyse av multikompartment-svulstegenskaper og omkringliggende vev. Denne forbedringen kan bidra til persontilpasset behandlings- planlegging og gunstigere pasientutfall, da nøyaktig segmentering direkte påvirker forståelsen av svulstens karakteristikker og oppførsel.

Automatisert gliom-gradering: Et annet betydelig bidrag er utviklingen av modeller for automatisert gliom-gradering ved bruk av avanserte maskinlæringsteknikker, spesielt konvolusjonelle nevrale nettverk. Denne tilnærmingen kan styrke radiologens diagnostikk og øke konsistensen og nøyaktigheten av diagnoser, noe som er spesielt viktig ved vurdering av lavgradige- versus høygradige gliomer. Denne muliggjørende teknologi representerer et betydelig fremskritt innen nevro-onkologisk behandling, da den assisterer den ikke-invasive vurderingen av svulstens aggressivitet og vil kunne gi nyttig informasjon ved valg av behandlingsstrategier.

Presisjonsavbildning og persontilpassede behandlingsstrategier: Avhandlingens tilnærming til anatomisk profilering av lokalisering- og (makroskopisk) utbredelse av gliom, kan lede til betydelige forbedringer i presisjonsavbildning og personltilpassede behandlingsstrategier. Vår tilnærming komplementerer eksisterende verktøy som Raidionics, som bruker en enkelt MRI-kanal for tumor-segmentering. Arbeidet i Paper III bruker forhåndsberegnet gliom-segmentering (såkalt "ground-truth", eller en hvilken som helst state-of-the-art segmenteringsmetode) gjerne er basert på flere kanaler i et mpMRI-opptak, og gir dermed en rik spatial- og (grov) patofysiologisk oversikt over forskjellige svulst-regioner (ET, NCR og ED). Denne mangefasetterte tilnærmingen tillater dermd en mer nøyaktig og detaljert forståelse av svulstens anatomi og makroskopiske oppførsel.

Fleksibilitet i bildeanalyse: Forskningen adresserer også praktiske utfordringer i avbildning, som tilfeller med manglende sekvenser eller vanskeligheter med bilde- registrering. Den tilpassede pipeline fungerer med kun T1c- og T2-sekvenser, og tilbyr et praktisk alternativ når den fullstendige multiparametriske protokollen av MRI-sekvenser ikke er mulig å bruke. Denne fleksibiliteten er avgjørende for praktisk- kliniske applikasjoner der avbildningsforholdene ikke alltid er ideelle.

To-trinn pipeline for økt nøyaktighet: Den foreslåtte to-trinns pipeline segmenterer først svulstregionene og deretter bruker de kubiske "patchene" hentet fra disse re- gionene for grad-prediksjon. Denne tilnærmingen adresserer begrensningene ved bruk av spatialt komplette MRI-bilder for prediksjon, der modeller ellers kan gjøre bruk av ikke-svulstregioner i sin prediksjoner av gliomets gradering. Metoden forbedrer derved tolkbarheten og nøyaktigheten, og gir trolig et mer pålitelig diagnostisk verktøy enn "enkeltoppgave-metoder" fokusert kun på ende-til-ende gliom-gradering.

Disse bidragene representerer samlet sett nye fremskritt og økt lokal kompetense innen dette forskningsfeltet, og kan potensielt lede til mer effektive og persontilpassede behandlingsstrategier for pasienter med gliom.

This thesis investigates methods and algorithms for brain tumor (glioma) segmentation, grade prediction, and anatomical profiling from magnetic resonance (MR) images.

A major motivation for this work has been the importance to both clinical practice and basic biological research of the detection, quantification and visualisation of brain tumors and distinct tumor components embedded in multiparametric brain MRI recordings.

A major rationale for this work is new insight from deep learning methodologies, multiparametric MRI, and imaging-based detection and follow-up of patients with glioblastoma in the context of personalized and precision medicine.

In short, the main contributions of this thesis are threefold: (i) Deep learning based segmentation of glioma sub-regions (Paper I) (ii) Deep learning-based non-invasive grading of glioma (Paper II) (iii) A method for automated anatomical localization and profiling of glioma (Paper III)

More specifically, the results produced in my thesis through Papers I, II, and III represent several advancements in enabling technologies for glioma assessment using multiparametric MRI (mpMRI). These improvements are related to several key areas:

Advanced Glioma Segmentation: The thesis introduces a modified U-Net archi- tecture, termed MEU-Net, for the segmentation of glioma sub-regions from mpMRI scans. This represents a technological advancement in segmentation accuracy and detail, enabling precise analysis of multicompartment tumor features and surrounding tissue. This improvement is crucial for better treatment planning and patient out- comes, as accurate segmentation directly influences the understanding of the tumor’s characteristics and behavior.

Automated Glioma Grading: Another significant contribution is the development of models for automated glioma grading using advanced machine learning techniques, particularly convolutional neural networks. This automation can empower radiologists and increase the consistency and accuracy of diagnoses, which is especially vital in distinguishing between low-grade and high-grade gliomas. The technological leap of mpMRI-based glioma grading represents a significant step forward in neuro- oncological care, as it aids in the non-invasive assessment of the tumor’s aggressiveness and, together with light microscopy, informs appropriate treatment strategies.

Precision Imaging and Personalized Treatment Strategies: The thesis’ approach to glioma profiling offers substantial improvements in precision imaging and personalized treatment strategies. Our approach complements existing tools like Raidionics, which rely on a single MRI channel for tumor segmentation. This work uses pre-computed tumor segmentations (the ground truth, or any state-of-the-art method) that depend on multiple channels in mpMRI, providing a comprehensive view of different tumor compartments (enhancing tumor, necrotic tumor core, edema). This multi-faceted approach allows for an accurate and detailed understanding of the tumor’s anatomy and behavior.

Flexibility in Imaging Analysis: The research also addresses practical challenges in imaging, such as cases with missing sequences or image registration difficulties. The adapted pipeline works with just two MRI (T1c and T2) sequences, offering a practical alternative when the full suite of MRI sequences is not feasible to use. This flexibility is crucial for real-world applications where imaging conditions are not always ideal.

Two-Phase Pipeline for Increased Accuracy: The proposed two-phase pipeline first segments the tumor regions and then uses the cubic patches extracted from these regions for grade prediction. This approach addresses the limitations of using full MRI images for grade prediction, where models might otherwise make predictions using non-tumor regions. This method enhances interpretability and accuracy, providing a more reliable diagnostic tool than single-task methods focused only on glioma grading.

The thesis also makes use of several thousand MRI recordings from international, well-curated databases, where all the patients have given their informed consent to share these data for research purposes. It is an example of the importance of open science and facilitation for reproducible research.

Collectively, these advancements represent important steps in the field, potentially leading to more effective and personalized treatment strategies for glioma patients.