Machine Truth : The Construction and Contestation of Epistemic Authority in Automated Fact-checking

Abstract

Denne doktorgradsavhandlingen utforsker automatisering av faktasjekking—en praksis som systematisk vurderer sannhetsgehalten i informasjonspåstander publisert i media. Ideen om å innlemme kunstig intelligens (KI) og praksiser for informasjonsverifisering i nyhetsarbeidet oppsto blant programmerere og faktasjekkere, og var en respons på det økende problemet med desinformasjon og det økende presset på journalister om å verifisere overveldende mengder informasjon. Noen konseptualiserer denne tilstanden som en epistemisk krise. Siden slutten av 2010-tallet har det blitt tatt flere initiativer for å designe verktøyer som kan sjekke medierte fakta ved bruk av KI-algoritmer. Automatiserte verktøy for faktasjekking og faktatjenester blir ofte fremstilt som om de er i stand til å produsere det jeg kaller «maskinsannhet»—informasjonstype produsert av algoritmiske teknologier og kommunisert som epistemisk autoritative utsagn om virkeligheten. Men etter nesten ti år, kan ikke automatiserte verktøy for faktasjekking sjekke fakta automatisk, eller de gjør det med betydelige mangler og begrensninger. Dermed er deres epistemiske autoritet fortsatt omstridt. Denne doktorgradsstudien undersøker den korte og brokete historien om automatisert faktasjekking.

I denne avhandlingen blir automatisert faktasjekking studert som en sosioteknisk innovasjon—en utvikling som introduserer algoritmisk logikk i arbeidet med faktasjekking. Jeg tar utgangspunkt i de tverrfaglige røttene til automatisert faktasjekking og utvikler et teoretisk rammeverk basert på konsepter fra sosial epistemologi, vitenskaps- og teknologistudier (STS) og innovasjonsstudier. Ved å drøfte den epistemiske praksisen faktasjekking sammen med automatiserte teknologier, svarer avhandlingen på forskningsspørsmålet: Hvordan konstruerer og bestrider forsknings- og praksisfellesskapet den epistemiske autoriteten til automatisert faktasjekking som en sosioteknisk innovasjon?

Forskningsspørsmålet blir besvart gjennom funn fra tre kvalitative studier som dette doktorgradsprosjektet består av i tillegg til kappen. Artikkel 1 er en kartleggingsstudie av akademisk forskning på automatisert faktasjekking, og den baserer seg på en tematisk og disiplinorientert analyse. Studien utforsker den forståelsen informatikk og journalistikkforskning har av fenomenet automatisk faktasjekking, og introduserer en tverrfaglig definisjon av automatisk faktasjekking. Artikkel 2 undersøker de strategiske innrammingene nye oppstartsselskaper gjør av sine automatiserte verifiseringsverktøy og -tjenester. Studien analyserer selskapenes primære kommunikasjonskanaler, nemlig deres nettsider. Artikkel 3 er en teknografisk casestudie av et oppstartsselskap og dets forsøk på å skape et automatisert verktøy for faktasjekking eller en KI-redaktør. Ved hjelp av intervjuer med ansatte, dokumentanalyser og teknografiske notater identifiserer studien de utfordringene seslskapet møtte under utviklingen av sitt automatiserte verktøy for faktasjekking.

Basert på funnene i de tre artiklene, undersøker kappen den teknologiske og sosiale konstruksjonen av automatisert faktasjekking innen forsknings- og praksisfellesskapene. I kappen gjør jeg en sosioteknisk undersøkelse av de epistemiske autoriteten til disse verktøyene og tjenestene. Forsknings- og praksisfellesskapene ser på automatisert faktasjekking enten som et teknologisk verktøy eller som en sosial praksis med mål om å forbedre faktasjekkingen. Jeg problematiserer automatisert faktasjekking som en epistemisk autoritet drevet frem av motstridende paradigmer innen informatikk og journalistikk. Til tross for det begrensede gjennomslaget for automatiserte verktøy for faktasjekking, har oppstartsbedrifter etablert seg innen nyhetsøkosystemer ved å hevde teknologisk og journalistisk ekspertise, og tilbyr automatiserte løsninger for å øke tilliten til nyheter.

Dette er en av de første doktorgradsavhandlingene som undersøker automatisert faktasjekking med et kvalitativt perspektiv, og den bidrar med en tverrfaglig definisjon av automatisert faktasjekking. Dette er "et sosioteknisk verktøy og en praksis som søker autonomi i arbeidet med informasjonsverifisering med begrenset epistemisk autoritet. Det innebærer å behandle data for å oversette journalistisk kunnskap til semantiske enheter – påstander, bevis og forklaringer – og beregne kompatibiliteten mellom de semantiske enhetene for å styrke og akselerere menneskets evne til å verifisere informasjon." Denne definisjonen understreker viktigheten av tverrfaglige perspektiver i forskning på og utvikling av automatiserte verktøy for faktasjekking som er ment å håndtere desinformasjon i nyhetsøkosystemer.

This doctoral thesis explores the automation of ex-post fact-checking—a practice of systematically assessing the veracity of information claims published in the media. The idea of integrating Artificial Intelligence (AI) technologies and information verification practices emerged among computer scientists and fact-checkers in response to the growing disinformation problem and the accompanying pressure on news workers to verify overwhelming amounts of information. Media and information scholars conceptualize this condition as an epistemic crisis. Since the late 2010s, several initiatives have been launched to design tools suitable to check mediated facts using AI algorithms. Automated fact-checking tools and services are often communicated as capable of producing what I call “machine truth”—information produced by algorithmic intermediaries communicated as epistemically authoritative assertions about reality. However, after almost a decade-long effort, automated fact-checking tools do not actually check facts automatically, or they do so with substantial flaws and limitations. Thus, their epistemic authority is still questionable. This doctoral study explores the short yet insightful and scantly researched history of this effort.

In this thesis, automated fact-checking is studied as a sociotechnical innovation— an endeavor that introduces algorithmic logic to ex-post fact-checking. Emphasizing the interdisciplinary roots of automated fact-checking, I draw on a theoretical framework built on concepts from social epistemology, Science and Technology Studies (STS), and innovation studies. I tie together fact-checking as an epistemic practice with automation technologies as a sociotechnical innovation and answer the research question: How do research and practice communities construct and contest the epistemic authority of automated fact-checking as a sociotechnical innovation?

The research question is addressed through findings from three qualitative studies, corresponding to three articles written as a part of this PhD project. Article 1 is a scoping literature review offering a disciplinary and thematic analysis of academic research about automated fact-checking. The study explores the computational and journalistic understanding of the phenomenon and offers an interdisciplinary definition of automated fact-checking. Article 2 explores the strategic framing of automated information verification tools and services by news startups. The study qualitatively analyses strategic framing practices via news startup websites as their primary communication channel. Article 3 is a technographic case study of a news startup and its attempt to create an automated fact-checking tool or AI editor. Interviews with company-related stakeholders, along with document analysis and technographic notes, helped me to identify the challenges that this particular automated fact-checking startup faced.

Based on the findings of the three articles, the framing introduction examines the technological and social construction of automated fact-checking according to perspectives from research and practice communities. An examination of the sociotechnical contestation of the epistemic authority of such tools and services follows this. Findings reveal that the research and practice communities view automated fact-checking as either a technological tool or a social practice aimed at enhancing ex-post fact-checking. The study examines the contestation of automated fact-checking as driven by conflicting paradigms in computer science and journalism. Despite the limited potential of automated fact-checking tools and services, news startups establish themselves within news ecosystems by asserting both technological and journalistic expertise and presenting their technologies as automated solutions to restore trust in a news ecosystem affected by an epistemic crisis.

To conclude, as one of the first qualitative doctoral studies of automated fact-checking, the main contribution of this thesis is to advance an interdisciplinary understanding of automated fact-checking. It is “a sociotechnical tool and a practice that seeks autonomy in information verification tasks with limited epistemic authority. Such tasks are processing data to translate journalistic knowledge into semantic units – claim, evidence, and resolution/explanation - and calculating the compatibility of semantic units with each other to enhance and speed up the human ability to verify information.” This definition underlines the importance of involving interdisciplinary perspectives when studying and developing automated fact-checking tools and services as epistemic intermediaries that potentially can tackle the disinformation surge in news ecosystems.