The Nexus of Algorithmic Visions : Agency, Imaginaries, and the Self in Sociotechnical Situations

Abstract

Ettersom algoritmiske prosesser blir stadig mer integrert i livene våre, skjer mer og mer av vår tenkning og sansing utenfor kroppen vår. Som en del av denne prosessen blir menneskelige og algoritmiske handlinger i økende grad sammenviklet, noe som reiser spørsmål om hvordan man kan forstå fordelingen av handlekraft mellom mennesker og algoritmer, og hvem vi blir i våre algoritmiske interaksjoner. Algoritmers kapasitet til å transformere informasjon betyr at de i bunn og grunn er meningsskapende teknologier, og det er i denne egenskapen de er gjenstand for undersøkelse i denne oppgaven. Denne avhandlingen, som består av fem artikler og en synopsis, utforsker den algoritmiske formidlingen av våre visjoner om oss selv og verden. Kjerneanliggendet i denne avhandlingen er forestillinger om hva algoritmiske teknologier gjør, og effekten av disse forestillingene. Understøttet av de mange betydningene av visjon, utforsker denne avhandlingen de perseptuelle og spekulative ever til både mennesker og algoritmer i sin undersøkelse av det generative potensialet av algoritmiske visjoner. Slik diskuterer den hvordan algoritmer betinger våre relasjoner til oss selv og andre i hverdagen vår, og hvordan disse relasjonene forestilles i spekulative medier, på sosiale medier og folkloristisk kultur på internett. Gjennom metodetriangulert tilnærming som kombinerer metoder fra det digitale humaniora med nærlesninger av medieverk og analyse av sosiale medier, undersøker den hva det vil si å bli sett av en algoritme, hvordan vi gir mening om opplevelsen av å være et objekt for algoritmisk persepsjon og de potensielle konsekvensene av denne meninggjøringen. Kappen utvikler konseptet "nexuset av algoritmiske visjoner" for å omfatte skjæringspunktene mellom disse overlappende anliggendene - algoritmer som ser, å se med algoritmer, å bli sett av algoritmer og å se for seg algoritmer. Nexuset av algoritmiske visjoner dreier seg om hva som skjer med vår meningsskaping, vår tilgang til verden når vi ser den gjennom algoritmer, hva som blir synlig eller usynlig med ulike måter å se algoritmer på, og hvem vi blir i våre egne algoritmiske øyne. Den første artikkelen i denne avhandlingen skisserer den teoretiske bakgrunnen for 'machine vision situations'-metoden som ble utviklet av machine vision-prosjektet for å analysere det distribuerte handlingsrommet til et bredt spekter av maskinsynsteknologier på tvers av kunst, spill og fortellinger. Den argumenterer for at vi ved å være oppmerksom på den spesifikke sosiotekniske situasjonen der teknologier anses å utgjøre en forskjell, identifisere hovedaktørene som er involvert, og analysere deres handlinger, kan forstå forskjellene som hver av agentene gjør i utfoldelsen av det som skjer. Denne metoden er egnet for kvantitativ analyse, men den kan også forme grunnlag for nærlesing, ved å iaktta det som er til overs eller uartikulert fra den innledende analysen. Den andre artikkelen underbygger denne innsikten ved å beskrive datasettet som vi satt sammen gjennom maskinsyn-databasen. Den demonstrerer den kombinerte fortolkende og kvantitative naturen til maskinsyndatabasen, og beskriver hvordan vi utvalgte verk til å inkludere, hvordan vi foredlet analysen av hvert verk, og inneholder informasjonen som er nødvendig for å gjøre data tilgjengelig for videre forskning utover dette prosjektet. Den tredje artikkelen analyserer fremstillingen av utvidet virkelighet i science fiction, og diskuterer hvordan dystopiske visjoner om AR-teknologier kan fungere som kritikk av hvordan makt og normer fungerer i digitale plattformer. Denne artikkelen eksemplifiserer nexuset av algoritmiske visjoner ved å analysere spekulative forestillinger om hva som skjer når vi ser verden mediert gjennom algoritmiske prosesser. Den fjerde artikkelen utforsker hvordan digitale stemmeassistenter som Amazons Alexa blir forestilt som monstre i digitale skrekkhistorier som deles på subredditen NoSleep, og diskuterer hvordan de samme monstrøse figurene dukker opp i Amazons offisielle reklamekampanjer for enheten. Den argumenterer for at både NoSleep- skrekkhistoriene og Amazon-reklamene trekker på det digitale uhyggelige potensialet til stemmeassistenter som Amazons Alexa har for å undergrave grensene mellom menneskelig og ikke-menneskelig handling. Som manifestasjoner som oppstår fra nexuset av algoritmiske visjoner, formulerer de monstrøse figurene til Alexa vår felles frykt for algoritmiske systemers innblanding i overvåking, vår handlefrihet og vår fornemmelse av oss selv. Gjennom en refleksiv tematisk analyse av 1 735 tweets om personlige interaksjoner med TikTok-algoritmen, undersøker denne artikkelen algoritmisk selvskaping, og utvikler to temaer som fanger opp ulike aspekter ved denne prosessen: algoritmen som en intim andre, og algoritmen som et observasjonsapparat. I algoritmisk selvskaping blir selvet og algoritmen forstått som gjensidig konstituerende, og opplevelsen av å kjenne og bli kjent genereres gjennom historien til deres intra- aksjon. Dette er en diffraktiv prosess der nettverkstilknyttede affekter og algoritmiske forestillinger mobiliseres i en kognitiv sammenstilling, som understreker den sammenfiltrede handlingskraften til våre visjoner om og med algoritmer. Sammen former artiklene en rhizomatisk utforskning av hvordan forskjellige distribusjoner av algoritmisk handlingskraft overlapper og krysser hverandre i nexuset av algoritmiske visjoner, slik de artikuleres i forskjellige medier. Ved å trekke på teoretisk innsikt fra feministisk materialistisk teori, vitenskaps- og teknologistudier og digital kultur, bidrar denne tverrfaglige oppgaven til den voksende mengden av forskning som undersøker den kulturelle konstruksjonen av algoritmer og praksisene som algoritmisk kultur produseres gjennom.

As algorithmic processes are becoming ever more integrated into our lives, more and more of our thinking and sensing is happening outside of our bodies. As a part of this process, human agency is becoming increasingly entangled with that of algorithms, raising questions about how to negotiate the distribution of agency between humans and algorithms, as well as how we make sense of who we are becoming in our algorithmic interactions. The capacity of algorithms to transform information means that they are, in essence, meaning-making technologies, and it is in this capacity that they are an object of investigation in this thesis. Consisting of five articles and a synopsis, this dissertation explores the algorithmic mediation of our visions of ourselves and the world. The core concern of this dissertation is what algorithmic technologies are imagined to be doing, and the effects of these imaginaries. Underpinned by the multiple meanings of vision, this thesis shifts between the perceptual and the imaginative or speculative faculties of both humans and algorithms in its investigation of the generative potential of algorithmic visions. In so doing, it discusses how algorithms condition our relationships with ourselves and each other in our everyday lives and how these relationships are envisioned in speculative media, social media discourse, and vernacular culture on the internet. Employing a mixed methods approach that combines digital humanities methods with close readings of media works and social media analysis it examines what it means to be seen by an algorithm and how we make sense of the experience of being an object of algorithmic perception and the potential consequences of this sensemaking. The synopsis develops the concept of 'the nexus of algorithmic visions' to encompass the intersections of these overlapping concerns – algorithms that see, seeing with algorithms, being seen by algorithms, and envisioning algorithms. The nexus of algorithmic visions is about what seeing with algorithms does to our meaningmaking, our access to the world, what becomes visible or invisible through different ways of envisioning algorithms, and who we become in our own algorithmic eyes. The first article of this dissertation outlines and provides the theoretical background the 'machine vision situations' method, developed by the machine vision project as a team to analyse the distributed agency of a wide range of machine vision technologies across art, games, and narratives. It argues that by attending to the specific sociotechnical situation in which technologies are seen to make a difference, identifying the main actors involved, and analysing their actions, we can understand the differences that each of the agents make in the unfolding of what is happening. This method can be a basis for a quantitative analysis, but it can also be the foundation for close reading, by attending to what is left over or unarticulated from the initial analysis. The second article underpins these insights by describing the dataset that we put together through the Machine Vision Database. It demonstrates the combined interpretative and quantitative nature of the machine vision database, describing how we selected works to include, how we refined our analysis of each work, and provides the information necessary to make out data available for further research beyond this project. The third article analyses the portrayal of augmented reality in science fiction, discussing how dystopian visions of AR technologies can function as critiques of how power and norms function in digital platforms. This paper exemplifies the nexus of algorithmic visions by analysing speculative visions of what happens when we see world mediated through algorithmic processes. The fourth article explores how digital voice assistants such as Amazon’s Alexa are imagined as monstrous in digital horror stories shared on the subreddit NoSleep and discusses how these same monstrous figurations appear in Amazon’s official advertisement campaigns for the device. It argues that both the NoSleep horror stories and the Amazon advertisements are engaging with the digital uncanny potential of voice assistants such as Amazon’s Alexa, blurring the boundaries between human and non-human agency. As manifestations arising out of the nexus of algorithmic visions, the monstrous figurations of Alexa are formulating common fears about algorithmic devices in terms of surveillance, agency, and the self. Through a reflexive thematic analysis of 1,735 tweets about personal interactions with the TikTok algorithm, the fifth paper examines the process of algorithmic self-making and develops two themes that capture different aspects of this process: the algorithm as an intimate other, and the algorithm as an apparatus of observation. In algorithmic self-making, the self and the algorithm are understood as mutually constitutive, and the experience of knowing and being known is generated through the history of their intra- actions. This is a diffractive process in which networked affect and algorithmic imaginaries are mobilized within a cognitive assemblage, underscoring the entangled agency of our visions of and with algorithms. Combined, the articles provide a rhizomatic exploration of the ways in which different distributions of algorithmic agency overlap and intersect in the nexus of algorithmic visions, as they are articulated in different media. Seen as a whole, this thesis articulates the relationship between our perceptions of algorithms and our experiences of being perceived by them and the agential effects of these overlapping and entangled visions. Drawing on theoretical insights from feminist materialist theory, science and technology studies, and the field of digital culture, this interdisciplinary thesis is contributing to the growing body of scholarly work that investigates the cultural construction of algorithms and the practices through which algorithmic culture is produced.