Using learning analytics to understand peer assessment: The importance of context data

Abstract

Læringsanalyse er et felt som er opptatt av innsamling, analyse og meningsdannelse av utdanningsdata for å optimalisere og bedre forstå studenters læring. Forskningen som presenteres i denne avhandlingen tar for seg utfordringene og mulighetene ved å bruke læringsanalyse i en samarbeidsaktivitet hvor studentene vurderer og/eller vurderer hverandres arbeid, altså medstudentvurdering (peer assessment). Forskningen ble styrt av følgende forskningsspørsmål: Hvordan kan vi bruke læringsanalyse for å få ny innsikt i medstudentvurdering?

Denne artikkelbaserte avhandlingen består av en kappe (extended abstract) som gir et metaperspektiv på to empiriske studier og to "scoping reviews". De empiriske studiene bruker en tilnærming med "mixed methods" og følger en strukturert prosess med datainnsamling, forberedelse, utforskning og analyse for å utføre læringsanalyse. Analysen i studiene ble utført på henholdsvis ett datasett uten kontekstdata og ett datasett med kontekstdata. Kontekstdata er et sentralt begrep i denne forskningen og refererer til ikke-plattformdata (non-platform data) som samles inn for å gi kontekst og mening til plattformdataene. Studie 1 fokuserte på analysen av baklengsvurdering (backward evaluation) (dvs. elevenes oppfatning av tilbakemelding) i et kontekstfritt datasett samlet inn over to års drift av en nettbasert medstudentvurderingsplattform. Hovedfunnet i denne studien var at tilbakemeldinger ble oppfattet som nyttige når studentene var enige i dem eller var positive til dem. I tillegg var relevansen av tilbakemeldingen viktigere enn dens vennlighet eller begrunnelse.

Studie 1 fremhevet også begrensningene ved å jobbe med data generert av en tredjepartsplattform uten kontekstdata – dette begrenset påvirkningskraften (impact) av læringsanalyse og analysemulighetene til tross for datasettstørrelsen. Som et resultat analyserte studie 2 et kontekstberiket datasett fra én medstudentvurderingsaktivitet på høyskolekurs som brukte den samme nettbaserte medstudentvurderingsplattformen, og studien hadde som mål å identifisere funksjoner som påvirker implementering av tilbakemeldinger og omskriving av essay. Funnene viste at boolske tilbakemeldinger, skriving av en baklengsvurderingskommentarer og formildende ros i tilbakemeldings- kommentarene, hadde den mest signifikante positive innflytelsen på implementeringen av tilbakemeldingene. Størrelsen på gruppen som gir tilbakemeldinger, utkastet til vurderingen og tidligere erfaring med medstudentvurdering var de viktigste egenskapene som påvirket negativt implementering av tilbakemeldinger og omskriving av essay. Tett samarbeid med kursholderen hjalp til med å forstå og tolke dataene. I tillegg informerte resultatene utformingen av medstudentvurderingsaktiviteten i kommende kurstilbud.

Scoping review 1 er den første som fokuserer på baklengsvurdering i nettbaserte medstudentvurderingsplattformer og var inspirert av hovedfokuset i studie 1. Denne scoping reviewen ga en oversikt over terminologien som ble brukt i litteraturen for baklengsvurdering, organiserte kunnskapen om hvordan baklengsvurderingsdata brukes i forskning, samt presenterte funn om medstudentvurderingsaktivitet (relatert til baklengsvurdering). Scoping review 2 er den første som oppsummerer gjeldende forskning om bruk av læringsanalyse til enten 1) å analysere medstudentvurderingsdata eller 2) å forbedre medstudentvurderingsaktiviteten. Denne scoping reviewen fokuserte på utfordringer med medstudentvurdering som ble adressert ved hjelp av læringsanalyse og hvilken ny innsikt som ble oppdaget.

Samlet sett gir artiklene som er inkludert i denne avhandlingen teoretiske, metodiske og empiriske bidrag til feltene læringsanalyse og medstudentvurdering. De to scoping- reviewene representerer de teoretiske bidragene til denne forskningen. De metodiske bidragene inkluderer metodisk transparens i empiriske studier som omhandlet to forskjellige datasett – kontekstfrie og kontekstrike – fra samme nettbaserte medstudent- vurderingsplattform. Videre blir implikasjonene av mangelen på kontekstdata for læringsanalyse utforsket i dybden. Tilslutt, gir denne forskningen ny empirisk innsikt i flere aspekter ved medstudentvurdering: rubrikkdesign, implementering av tilbakemeldinger og omskriving av essay, samt baklengsvurdering.

Learning analytics is a field concerned with collecting, analyzing, and sense-making of educational data to optimize and better understand student learning. The research presented in this dissertation addresses the challenges and opportunities of using learning analytics in a collaborative activity where students grade and/or evaluate each other’s work, namely peer assessment. The research was guided by the following research question: How can we use learning analytics to gain new insights into peer assessment?

This article-based dissertation comprises an extended abstract that offers a meta-perspective on two empirical studies and two scoping reviews. The empirical studies adopt a mixed-methods approach and follow a structured process of data collection, preparation, exploration, and analysis to conduct learning analytics. The analysis in the studies was carried out on a dataset without context data and one with a dataset with context data, respectively. Context data is a central concept in this research and refers to non-platform data collected to provide context and meaning to the platform data.

Study 1 focused on the analysis of backward evaluation (i.e., students’ perception of feedback) in a context-free dataset collected over two years of operations of an online peer assessment platform. The main finding of this study was that feedback was perceived as useful when students agreed with it or were positive toward it. In addition, the relevance of the feedback was more important than its kindness or justification. Study 1 also highlighted the limitations of working with data generated by a third-party platform without context data—this limited the impact of learning analytics and the analysis possibilities despite the dataset size. As a result, Study 2 analyzed a context-enriched dataset from a college course peer assessment activity that used the same online peer assessment platform and aimed to identify features that influence feedback implementation and essay revision. The findings showed that Boolean feedback, writing a backward evaluation comment, and mitigating praise in the feedback comments had the most significant positive influence on feedback implementation. The size of the feedback provider group, the draft grade, and previous peer assessment experience were the most important features that negatively influenced feedback implementation and essay revision. Close collaboration with the course instructor aided in understanding and interpreting the data. In addition, the results informed the design of the peer assessment activity in upcoming course offerings.

Scoping review 1 is the first to focus on backward evaluation in online peer assessment platforms and was inspired by the main focus of Study 1. This scoping review gave an overview of the terminology used in the literature for backward evaluation, organized the knowledge about how backward evaluation data is used in research and presented findings about peer assessment activity (related to backward evaluation). Scoping Review 2 is the first review to summarize current research on using learning analytics to either 1) analyze peer assessment data or 2) improve peer assessment activity. This scoping review focused on peer assessment challenges addressed using learning analytics and what new insights were discovered.

Overall, the papers included in this dissertation make theoretical, methodological, and empirical contributions to the fields of learning analytics and peer assessment. The two scoping reviews represent the theoretical contributions of this research. The methodological contributions include the method transparency in empirical studies that tackled two different datasets—context-free and context-rich—from the same online peer assessment platform. Furthermore, the implications of the lack of context data for learning analytics are explored in-depth. Finally, empirically, this research provides new insights into several aspects of peer assessment: rubric design, feedback implementation and essay revision, and backward evaluation.