Konstruksjon av flervalgstester for måling av biologikompetanse: Bruk av moderne testteori til analyse og validering av flervalgsoppgaver

Abstract

The main purpose of the educational system is to provide a good and effective education that optimizes students' teaching environments and maximizes their learning outcome. Summative evaluation gives insight into students' level of expertise while formative evaluation gives insight into how one can optimize the education for one particular group of students. In order to make quality promoting measures in education there is need for a tool that measures the prime goal of education: The students' learning outcome. The main purpose of this master's thesis is to develop and quality check a tool which can bring forth knowledge about biology students' level of expertise in biology. The theoretical framework is based on literature on multiple choice questions, with a main focus on how to construct good multiple choice questions. Literature on how to analyze multiple-choice questions by modern test theory is also presented. The tool developed in this master's thesis was a multiple-choice test, that consisted of 290 collected and constructed multiple-choice questions that measured students' level of expertise in biology. These multiple-choice questions were distributed to biology students at universities and university collages around Norway, and the data from 713 respondents were analyzed using modern test theory ( item response theory"). Model-choice analyses showed that the one-dimensional Rasch model fitted the data best. The multiple-choice questions' discrimination ability, dimensionality and local independence were calculated and evaluated, and multiple-choice questions that either discriminated poorly, didn't' fit the Rasch model or were locally dependent were moved from the item pool. 51 multiple-choice questions were removed from the item pool and the final product was an item pool that consisted of 239 multiple choice questions. The tool developed in this master's thesis had a good content validity, but weren't as reliable for students with much higher or lower abilities. Recommendations for further use of this tool are given in the thesis.

Utdanningssystemets hovedformål er å legge til rette for gode og effektive utdanningstilbud som optimaliserer studenters læringsmiljø og maksimerer deres læringsutbytte. Vurdering av læring gir innsikt i studenters kompetanse og vurdering for læring gir innsikt i hvordan opplæringen kan tilpasses enhver studentgruppe. For å gjennomføre kvalitetsfremmende tiltak i utdanningen, kreves det at man har gode metoder for å måle det som er målet med tiltakene, studentenes læringsutbytte. Denne oppgaven har som mål å utvikle og kvalitetssikre et verktøy som kan gi kunnskap om biologistudenters faglige basiskunnskaper. Verktøyet baserer seg på testing med lukkede flervalgsoppgaver. Den teoretiske forankringen baserer seg på litteratur om flervalgsoppgaver med hovedfokus på konstruksjon av gode flervalgsoppgaver. Det ble også fremlagt teori om analyser av flervalgsoppgaver ved hjelp av moderne testteori. Verktøyet utviklet i denne masteroppgaven var en flervalgstest som besto av 290 innsamlede og egenkonstruerte flervalgsoppgaver som testet grunnleggende kompetanse i biologi. Disse flervalgsoppgavene ble distribuert til biologistudenter ved universiteter og høyskoler rundt om i Norge, og dataene fra 713 respondenter ble analysert ved bruk av moderne testteori ("item response theory"). Modellvalganalyser viste at den endimensjonale Rasch-modellen var best tilpasset dataene. Flervalgsoppgavenes diskrimineringsevne, dimensjonalitet og lokal uavhengighet ble beregnet og evaluert, og oppgaver som diskriminerte dårlig mellom respondenter, viste seg å være utilpasset Rasch-modellen eller var lokalt avhengige ble fjernet fra oppgavebanken. Gjennom analysene ble 51 oppgaver fjernet og det endelige produktet var en oppgavebank med 239 flervalgsoppgaver. Verktøyet som ble utviklet hadde god innholdsvaliditet, men var mindre dekkende for studenter med svært lav og svært høy dyktighet. Anbefalinger for videre bruk av verktøyet er gitt i oppgaven.