Hvor kort er godt? En evaluering av NorSum - en automatisk tekstsammenfatter for norsk

Abstract

This thesis has been carried out in collaboration with the Scandinavian science nettwork ScandSum, and it presents an evaluation of NorSum, an automatic text summarizer for Norwegian. The evaluation is an intrinsic one, which compares the automatic summaries against a gold standard. The gold standard is built from manually made summaries. The evaluation had two goals; the most important one was to do a quantitative evaluation of NorSum to investigate its performance. It was interesting to see if a quantitative evaluation could provide any information about the quality of the summarizer. The second goal was to develop a program that could automatically generate a gold standard, which the automatic summary could be compared against. The results show that there is a relative good overlap between the gold standard and the automatic summary, and regarding the deviation between the automatic summaries and the manual summaries; it was less than expected.

I samarbeid med forskningsnettverket ScandSum har det i denne hovedoppgaven blitt utført en evaluering av NorSum, som er den norske versjonen av den automatiske sammenfatteren SweSum. Hovedoppgaven presenterer en evaluering av NorSum, et system for automatisk sammenfatning av tekster på norsk. Oppgaven hadde to mål, hvor det viktigste var å utføre en kvantitativ evaluering, for å undersøke om en kvantitativ metode kan gi nyttig informasjon om kvaliteten på sammendragene. For å sammenligne de automatiske sammendragene med manuelle sammendrag, ble det automatisk generert et referansesammendrag, en gullstandard, ut fra de manuelle sammendragene. Resultatene av den interne evalueringen viser at det er en klar, men relativt liten overlapping mellom de automatiske sammendragene og referansesammendraget. Avviket mellom sammendrag og referansesammendrag er større for de automatiske enn de manuelle sammendragene, men mindre enn på forhånd antatt, tatt i betraktning at referansesammendraget er laget ut fra de manuelle sammendragene. I tillegg viste det seg nyttig å generere referansesammendragene automatisk, da dette både sparte tid og arbeid, siden evalueringen i seg selv var en tidkrevende prosess.