Performing Bias : Conceptions of Machine Vision Bias in Digital Art

Abstract

Gjennom tidene har produksjon og reproduksjon av bilder gradvis blitt mekanisert, digitalisert og automatisert, men persepsjon styrt av kunstig intelligens (AI) har hatt stor innvirkning på moderne maskinsyn-teknologier. Med AI blir maskinsyn-teknologier mer enn optiske og sensoriske apparater: disse teknologiene kan nå utføre kognitive prosesser som å gjenkjenne, analysere, klassifisere, tolke og å forutsi. Dype nevrale nettverk og underliggende datasett muliggjør visuell produksjon i større grad og fart enn før. Disse tilsynelatende objektive og autonome teknologiene for visuell persepsjon er effektive for spesifikke oppgaver. Effektiviteten gjør at teknologiene er integrerte i hvordan vi produserer visuell kultur, men også at de brukes til å styre hverdagen vår.

Denne artikkelbaserte avhandlingen adresserer hvordan digital kunst konseptualiserer forholdet mellom maskinsyn, AI og bias. Med utgangspunkt i tverrfaglig kritisk teori presentert i “Glossary of Machine Vision Gazes” etablerer jeg at maskinsyn alltid har et “bias” (som forstås som en partiskhet/skjevhet), og tillegges perspektiver fra fortida og fra de som designer og bruker det. Kunst og kunstnerisk forskning har spilt en viktig rolle i å adressere bias og urettferdighet, og er en rik kilde til å utforske hva bias i maskinsyn er og gjør.

Ved å kombinere digital humaniora-metoder for kvantitativ analyse av kunstverk med kvalitativ analyse, så vel som kritisk praksis og kunstnerisk forskning, demonstrerer denne avhandlingen at den lovte objektiviteten og magiske autonomien til maskinsyn er en fasade som maskerer virkeligheten. Digital kunst klargjør at å leve med AI-teknologier oppleves forskjellig på tvers av status, kjønn, rase og etnisitet. Kunst viser hvordan AI-styrt persepsjon feilklassifiserer og feilrepresenterer verden. Disse kunstverkene synliggjør skadene som kommer av at maskinsyn brukes på urettferdige måter. Gjennom egen kunstnerisk forskning, hvor jeg har utviklet verket Suspicious Behavior, viser jeg at datasettene for maskinlæringsmodeller inneholder problematiske taksonomier som samles inn uten samtykke og blir datamerket/annotert ved å utnytte behovsbetinget arbeidskraft.

I denne avhandlingens tre artikler utvikler jeg to konseptuelle bidrag: konseptet teknisk intuisjon for å utforske måter bias uttrykkes av maskinsyn, og konseptet indirekte reversert operativitet for å spore hvordan bias introduseres i sammenstillinger (“assemblages”) av AI-styrt persepsjon. Rammeverket tar hensyn til at både menneskelige og tekniske aktører påvirker maskin-persepsjon gjennom komplekse prosesser. Konsekvensen blir at vi må anerkjenne at AI-styrt persepsjon er en integrert del av datasett-innsamling, noe som reproduserer bias fra tidligere utviklet AI. Samtidig er det også viktig å verdsette menneskelig arbeid som lett glemmes når man blir blendet av autonomien til disse syn- og visualiseringsmaskinene. Denne avhandlingen bidrar derfor blant annet til kritiske algoritmestudier og kritiske datasettstudier gjennom utviklingen av en algoritmisk kunnskap som gjeninnfører mennesket i AI.

Menneskers og maskiners bias er tett knyttet sammen, noe som betyr at man ikke kan fjerne bias med enkle tekniske løsninger. Istedenfor må bias i maskinsyn flyttes og forhandles. Hovedbidraget til denne avhandlingen er å kartlegge framgangsmåter til maskinsyn i digital kunst. Digital kunst synliggjør bias og presenterer hvordan man kan flytte bias gjennom å bestride skadelig bias og å utforske alternative måter for konstruksjon av maskinsyn. I avhandlingen identifiseres tre tilnærminger. Artistic audits inkluderer metoder for å synliggjøre maskinsyn- og datasettbias. Disputing biases viser taktikker for å forhandle verdier og verdenssyn som er etablert i maskinsyn. Avhandlingen anerkjenner at maskinsyn alltid har bias, og at data alltid er situert. Performing bias er en måte å inkludere bias på en gjennomtenkt måte, å opptre refleksivt på designbeslutninger for oppsett og visualisering av data, og å synliggjøre at data skapes i en kontekst. Gjennom å kurere et datasett som en del av The Database of Machine Vision in Art, Games and Narratives-prosjektet og å kritisere designbeslutninger i maskinlæringsdatasett gjennom et kunstverk kalt Suspicious Behavior (2020), presenterer denne avhandlingen hvordan å "perform bias.”

While the (re)production of images has gradually been mechanized, digitized and automized over centuries, contemporary AI-powered perception has had a profound impact on machine vision technologies. With AI-power perception, machine vision technologies become more than optical or sensorial devices: these technologies are capable of cognitive tasks such as recognizing, analysing, classifying, interpreting and predicting. Deep neural networks and underlying datasets enable visual production at unprecedented scale and speed. Far more efficient in specific tasks, these presumably objective and autonomous technologies of visual perception are deployed to govern our everyday lives and enmeshed in the ways we produce visual culture.

This article-based dissertation addresses how the relationship between machine vision and bias is conceptualized in digital art in the age of AI-powered perception. Drawing on interdisciplinary critical theory presented in a ‘Glossary of Machine Vision Gazes’ I establish that machine vision is always biased in the sense that it embeds world views from the past and of those who design and deploy it. Art and artistic research in turn have played a crucial role in addressing biases and injustice, presenting a rich source to explore what machine vision bias is and does.

By combining digital humanities methods for quantitative analysis of artworks with qualitative analysis as well as the critical making of art and artistic research, this dissertation demonstrates that the promised objectivity and magical autonomy of machine vision is an obfuscating façade. Digital art exposes that living with AI-technologies is experienced differently across the intersections of class, gender and race. Artworks depict how AI-powered perception misclassifies and misrepresents the world. These artworks make explicit the harms that arise when machine vision is deployed in unjust ways. My own artistic research, through which I developed the artwork Suspicious Behavior, exhibits that datasets underlying machine learning models contain problematic taxonomies, are collected without consent and annotated by exploiting on-demand labour.

In my articles I develop two key conceptual contributions: technical intuition to examine the ways biases are expressed by machine vison, and indirect reverse operativity for tracing how biases are introduced into assemblages of AI-powered perception. This framework considers that both human and technical actors influence machine perception through multi-layered operations. This means that we need to recognise that AI-powered perception is increasingly enmeshed into dataset curation and that this perpetuates the inherent biases of earlier developed AI. At the same time, it is crucial to give attention to and value the human labour that is so easily forgotten when we are dazzled by the autonomy of these vision or visualizing machines. Thereby this dissertation contributes to critical algorithm studies, critical dataset studies, and beyond by developing an algorithmic literacy which brings back the human to AI.

The ways human and machine biases entangle means that biases cannot be removed simply with technical fixes. Instead, machine vision biases need to be shifted and negotiated. The main contribution of this dissertation is a mapping of approaches to machine vision in digital art. Digital art goes beyond exposing biases and presents ways of shifting biases by disputing harmful biases and exploring alternative ways of making machine vision. In this dissertation three approaches are identified. Artistic audits include methods to expose machine vision and dataset biases. Disputing biases depicts tactics to provoke discourse and to (re)negotiate values and worldviews embedded in machine vision. Performing bias is a way of being thoughtfully biased, to account with reflexivity on curatorial decisions involved in assembling and visualising data and render visible the situatedness of data. By engaging with two collaborative projects and shifting position between curating a dataset as part of The Database of Machine Vision in Art, Games and Narratives project and critiquing the curation of machine learning datasets in an artwork called Suspicious Behavior (2020) this dissertation presents one way of performing bias.