Playing posthumanism : A study of machine vision and tensions of human-machine relations in digital games

Abstract

Denne artikkelbaserte avhandlingen utforsker maskinsynteknologiers rolle i dataspill og deres relasjoner til andre agenter. Maskinsyn i spill medieres dobbelt: i fiksjonen på et diegetisk nivå og i møtet mellom spiller og spill. Denne doble medieringen gir muligheten til å studere relasjoner mellom maskinsyn og andre agenter både innenfor og utenfor spillverdener. Studien bruker en metodetriangulert digital humaniora-tilnærming for å svare på forskningsspørsmålet: Hva kjennetegner maskinsyn i spill og hvordan utforskes menneske-maskin-relasjoner gjennom maskinsyn i spill?

Eksisterende forskning på menneske-maskin-relasjoner i spill viser nødvendigheten av å desentrere spillerens hegemoni for å anerkjenne samhandling mellom maskin og spiller. Denne avhandlingen addresserer hvordan spill forhandler mellom en «kyborgsk» opplevelse av å spille spill og maktfantasiene som ofte følger denne opplevelsen. Med andre ord demonstrerer avhandlingen hvordan maskinsyn og spill både forsterker og utfordrer dominante ideologier i menneske-maskin-relasjoner. Støttet av rik empirisk data fra å skape en database for maskinsynrepresentasjoner i 77 dataspill og tekstanalyser av utvalgte titler, gir denne avhandlingen et grundig innblikk i hvordan spill som dynamiske sammenstillinger («assemblages») kan presentere både posthumanistiske og transhumanistiske opplevelser på samme tid. De ulike aspektene ved maskinsyn i spill utforskes i fire artikler:

Den første artikkelen i denne avhandlingen dokumenterer den tverrfaglige utviklingen av en database og et datasett på hvordan spill, digital kunst og narrativer framstiller maskinsynteknologier. Artikkelen bidrar med datasettet og metodologiske diskusjoner rundt metodetriangulering i humaniora. Funnene fra artikkelen danner grunnlaget for videre nærlesing og tekstanalyser. Den andre artikkelen undersøker hologrammers funksjoner i 24 spill. Gjennom en nærlesing av Horizon Zero Dawn (Guerrilla Games 2017) demonstrerer artikkelen at binære oppfattelser av tilstedeværelse og handlingsrom blir utfordret med spillhologrammer, både diegetisk og speilet i forholdet mellom spiller og spill. Funnene bidrar til en forståelse av mennesker og maskiner som knyttet sammen gjennom handlingsrom i posthumanistiske sammenstillinger. Den tredje artikkelen etterforsker hvordan kroppsliggjøring og handlingsrom blir påvirket av kameraet som metafor og som grensesnitt i spill. Basert på diegetiske kamera-representasjoner i 41 spill og nærlesinger av Final Fantasy VII Remake (Square Enix 2020) og Watch Dogs: Legion (Ubisoft Toronto 2020) bidrar artikkelen med konseptet «cyborg vision» for å gjeninnsette kroppen der maskinsyn presenteres som utenfor en kropp. Den fjerde artikkelen viser hvordan kyborgers delvise perspektiv konstant blir utfordret av framstillinger av dominans og kontroll i spill med maskinsyn. For å demonstrere koblinga mellom maskinsyn og militært dominerende syn, analyseres visuelle filtre utenfor menneskelige sanser i Call of Duty 4: Modern Warfare (Infinity Ward 2007) og Cyberpunk 2077 (CD Projekt Red 2020). Funnene framhever hvordan en forståelse av distribuert handlingsrom både muliggjør og kompliserer fantasier om dominans i spill.

Samlet sett demonstrerer artiklene at maskinsyn i spill alltid er mediert, ufullstendig og kroppsliggjort, men gjemt bak og medskyldig i narrativer om dominans. Denne spenninga mellom ufullstendige kroppsliggjorte agenter og totalitære ikke-kroppsliggjorte agenter er hvordan spill presenterer menneske-maskin-relasjoner gjennom maskinsyn. Spenningene for kroppsliggjøring og handlingsrom som oppstår brukes i avhandlingen til å utvikle en teorisering av spill som fundamentalt distribuerte og situerte fenomener i en sammenstilling. Avhandlingen bidrar til spillstudiekritikk av antroposentrisme og til en voksende akademisk interesse i spill fra posthumanistiske og feministiske perspektiver. Studien bygger også på mediestudier, overvåkningsstudier og teknologifilosofi for å utforske disse relasjonene.

This article-based dissertation investigates the role of machine vision technologies in digital games and their relations to other agents. Machine vision in games can be depicted on a diegetic level and is enacted by the game. This double-orientedness provides an opportunity to study the relation between machine vision and other agents, within and beyond virtual environments. The study applies a mixed methods digital humanities approach to answer the main research question: What characterizes machine vision in games, and how are human-machine relations explored through machine vision in games?

Existing research on human-machine relations in games show the need for decentering player hegemony to acknowledge the interrelational and cyborgian experience of playing games. This dissertation addresses how games negotiate the cyborgian play experience with the power fantasies that often accompanies this experience. In other words, the dissertation demonstrates how machine vision in games can simultaneously reify and challenge dominant ideologies of human-machine relations. Supported by rich empirical data from creating a database on machine vision representations in 77 games and textual analyses of selected titles, the dissertation provides an in-depth view of how game assemblages are dynamic constellations that can hold both posthuman and transhuman experiences in the fiction of the game and in the player-and-game relationship. Four independent articles explore these aspects of machine vision:

The first article of this dissertation documents the interdisciplinary development of a database and dataset of how machine vision technologies are imagined in games, digital art, and narratives. The article contributes with the dataset and methodological discussions on mixed methods research in the humanities. The findings from the first article provides the material for in-depth textual analyses in subsequent articles. The second article examines the functions of holograms in 24 digital games. Through a close reading of Horizon Zero Dawn (Guerrilla Games 2017), the article demonstrates that binary conceptualizations of presence and agency are challenged with game holograms, both in the diegetic environment and mirrored between player and game. The findings contribute to an understanding of humans and machines as connected through agency in posthuman assemblages.The third article investigates how embodiment and agency are impacted by the camera as metaphor and as interface in digital games. Building on diegetic camera representations in 41 titles and in-depth analyses of Final Fantasy VII Remake (Square Enix 2020) and Watch Dogs: Legion (Ubisoft Toronto 2020), the article contributes with the concept of “cyborg vision” to reinstate the body when vision is presented as disembodied. The fourth article shows how the ideal of the partial perspectives of cyborgs is constantly challenged by depictions of mastery in games with machine vision. To demonstrate the connection between machine vision and militarized vision of domination, the article performs textual analyses of visual filters beyond the human spectrum in Call of Duty 4: Modern Warfare (Infinity Ward 2007) and Cyberpunk 2077 (CD Projekt Red 2020). The analyses identify that distributed agency both enables and complicates fantasies of dominance in games.

Combined, the articles demonstrate that machine vision in games is always mediated, partial, and embodied, but hidden behind and complicit in narratives of domination. This tension between partial, embodied agents and totalitarian, disembodied agents is how games present human-machine relations. The tensions of embodiment and agency that arise are used to develop a theorization of games as fundamentally distributed and situated phenomena through the understanding of being-in-the-assemblage. The dissertation contributes to game studies criticism on anthropocentrism and to the growing body of work examining games from posthuman and feminist perspectives. The study also draws on scholarly fields such as media studies, surveillance studies, and philosophy of technology to explore these relations.