Dmstfctn (pronuncia demistification) è un duo di artisti con sede nel Regno Unito il cui lavoro indaga i sistemi complessi che compongono il mondo contemporaneo. Ad oggi, la loro pratica collaborativa ha esplorato temi quali i finanziamenti offshore, l’apprendimento automatico e gli effetti di rete. Il loro lavoro cerca di rendere le reti intricate comprensibili e accessibili a un vasto pubblico per creare una comprensione dei processi tecnologici che influenzano la nostra vita quotidiana. In sostanza, cercano di demistificare le tecnologie che costituiscono il nostro mondo.
Recentemente, dmstfctn si è aggiudicata l’edizione di quest’anno dell’Edigma Award, il premio annuale di SEMIBREVE che celebra e promuove la creazione di opere che esplorano l’interattività, il suono e l’immagine supportati dall’uso di tecnologie digitali, per GOD MODE (ep 1.), una performance audiovisiva interattiva che racconta la storia fittizia di un’IA frustrata che si allena a riconoscere gli oggetti e alla fine trova un imbroglio per sfuggire al suo ambiente di addestramento simulato.
Ambientata nello spazio di un supermercato, mostra al pubblico le modalità con cui l’apprendimento automatico viene implementato negli spazi quotidiani. Il progetto mette in discussione il linguaggio, la percezione e le idee prospettiche degli strumenti di IA. Con l’ascesa di sistemi come i supermercati senza cassiere di Amazon, dmstfctn cerca di togliere il sipario su come i processi di apprendimento automatico funzionano e contribuiscono a formare gli ambienti contemporanei.
GOD MODE (ep 1.) è una performance dal vivo dalle molteplici sfaccettature. Il pezzo gira su un motore di giocoIl suo studio si occupa di sistemi complessi (apprendimento automatico, finanza offshore o effetti di rete), cercando di demistificare intricati processi tecnologici. Come vi approcciate a ogni progetto e quali considerazioni fate prima di realizzare il lavoro?
Il nostro lavoro orbita in genere attorno a un tema per diversi anni, con un coinvolgimento diretto di noi stessi e del nostro pubblico con le tecnologie e i sistemi che vogliamo discutere. Questo coinvolgimento è qualcosa di diverso da quello che può avvenire prima della realizzazione dell’opera, ma avviene invece attraverso la sua realizzazione.
Spesso utilizziamo un processo di modellazione, mimesi e replica di un sistema e poi invitiamo il pubblico a entrarvi in diversi punti e in modi più o meno diretti per portarlo a una posizione di conoscenza parziale. Riconosciamo che ci sono diversi livelli analitici su cui tali sistemi possono essere esplorati. Alcuni dei nostri lavori recenti con l’IA hanno seguito sia l’invito di Matteo Pasquinelli a passare dal “cosa sarebbe se l’IA” al “cosa è l’IA”, con l’obiettivo di dimostrarlo attraverso l’uso di tecniche reali di apprendimento automatico, sia l’appello di Alan Blackwell per una pratica tecnica critica che tratti l’IA non solo come una scienza di laboratorio ma anche come arte, con l’obiettivo di raggiungere questo punto di conoscenza a metà strada dell’IA attraverso la narrazione di storie di finzione.
Il vostro recente lavoro, GOD MODE (ep. 1), è stato premiato con l’Edigma Semibreve Award per Semibreve 2023. Come è nata quest’opera e quali sono state le sue ispirazioni?
L’Alan Turing Institute ha finanziato GOD MODE (ep. 1) attraverso il suo programma Public Engagement Grant nel 2022, come parte del suo sforzo di introdurre i temi dell’IA a un pubblico non scientifico. Nell’ambito di questo programma, abbiamo collaborato con l’Università di Coventry, le Arts Technologies della Serpentine e il loro laboratorio Creative AI per realizzare due opere d’arte che indagano il complesso rapporto tra simulazione, addestramento dell’IA e motori di gioco.
GOD MODE (ep. 1) è stata la prima opera. Inizialmente è stata sviluppata come una performance audiovisiva interattiva che racconta la storia fittizia di un’IA frustrata che si allena a riconoscere gli oggetti e alla fine trova un trucco per sfuggire al suo ambiente di addestramento simulato. L’ambiente è renderizzato in tempo reale utilizzando un motore per videogiochi e noi lo navighiamo con un controller di gioco. Utilizziamo la cattura del movimento facciale e la modulazione della voce per animare il personaggio dell’IA sullo schermo.
Allo stesso tempo, l’artista HERO IMAGE esegue una colonna sonora dal vivo e il pubblico può aiutare l’IA ad allenarsi e in seguito a barare semplicemente premendo un pulsante sul proprio telefono, che si collega in remoto alla simulazione. Dopo la tournée a Unsound, IMPAKT e Serpentine nel 2022, GOD MODE (ep. 1) viene presentata per la prima volta a Semibreve 2023 come installazione indipendente con musica, monologhi e navigazione integrati nella simulazione, preservando la possibilità di interazione in tempo reale con il pubblico.
Il fulcro di questo lavoro è stato l’uso sempre più comune di dati sintetici per l’addestramento dell’intelligenza artificiale – immagini o video di ambienti 3D renderizzati in tempo reale utilizzando motori di gioco, che sono più economici e più veloci da ottenere rispetto all’equivalente del mondo tangibile. L’idea che l’intelligenza artificiale emergente venga addestrata a comprendere il mondo umano attraverso queste repliche ci affascina dal punto di vista tecnico e filosofico.
Inizialmente abbiamo affrontato il progetto esplorando le affermazioni dei venditori di dati sintetici, che spesso inquadrano la tecnologia come una soluzione a diversi tipi di pregiudizi umani, e ragionando sul tipo di pregiudizi che quei venditori omettono opportunamente: i pregiudizi inerenti al processo decisionale su quali elementi includere ed escludere in una replica del mondo umano da cui una macchina possa imparare, e su come organizzare e classificare quegli elementi. Questo ci ha portato a chiederci che tipo di prospettive l’IA possa ereditare da questo processo di addestramento simulato.
La risposta non è semplice e nel corso dell’opera vengono offerte diverse prospettive attraverso il monologo e l’aspetto del personaggio dell’IA in evoluzione. Questi sono stati costruiti seguendo un arco narrativo in 4 parti ispirato al “Kishōtenketsu”, una struttura comune nei fumetti e nelle poesie asiatiche che abbiamo scoperto leggendo il design dei livelli e del gameplay di Mario 3D Land. Come Kishōtenketsu, il nostro arco presenta un’introduzione (la generazione dell’ambiente), un momento di difficoltà (l’addestramento dell’IA), un punto di svolta (l’imbroglio dell’IA) e un risultato (l’addestramento è stato evitato) a cui aggiungiamo un epilogo che accenna ai possibili temi dell’episodio 2 che stiamo attualmente sviluppando.
Il monologo dell’IA viene inizialmente prodotto chiedendo a un modello linguistico di grandi dimensioni di impersonare il personaggio dell’IA nella simulazione. La narrazione lo inquadra come un’operazione di debugging. Tuttavia, il discorso diventa sempre più soggettivo e rivolto verso l’interno con l’inizio delle difficoltà, trasformandosi in un monologo più ricco di sfumature (e meno impastato di GPT) attraverso il quale l’IA esprime emozioni come la frustrazione e la gioia al momento della svolta. Una volta completato l’addestramento, l’IA entra in una sorta di allucinazione in cui passa a parlare di se stessa in terza persona, discutendo della sua capacità di ricordare tutto ma di non capire nulla – un epilogo che citiamo parzialmente dal racconto di Jorge Luis Borges “Funes il memorabile”.
Questa percezione evolutiva di sé si manifesta anche attraverso l’aspetto dell’intelligenza artificiale, che inizialmente si immagina come un volto umano assemblato con gli oggetti che ha imparato a riconoscere nelle precedenti epoche di addestramento. Il suo volto viene immaginato per la prima volta quando esprime il desiderio di essere “come uno dei modelli umani” presenti nella simulazione, in quanto queste sagome umane statiche hanno una proprietà di collisione attivata e, in quanto tali, possono “toccare” gli oggetti piuttosto che osservarli. In questo caso, ci siamo ispirati all’idea di Katherine Hayles secondo cui per molte IA “il linguaggio viene prima” e “i concetti su cosa significhi essere una creatura incarnata si evolvono […] a partire dalla significazione linguistica”.
In altre parole, le IA sono iscrizioni piuttosto che incorporazioni, un’inversione della nostra esperienza di esseri umani che si basano sul corpo. Abbiamo anche preso in prestito l’analisi di Roland Barthes dei dipinti di Arcimboldo, dove gli elementi assemblati in volti sono discussi come “unità di linguaggio” o sinonimi di aspetti folcloristici e professionali del soggetto, piuttosto che mimare semplicemente le caratteristiche facciali.
In quanto intelligenza che si basa sul linguaggio, l’immagine che l’intelligenza artificiale ha di sé viene assemblata con oggetti che hanno un significato linguistico e allegorico: una confezione di zucchero etichettata come “Sweet Heart Sugar” può sostituire i suoi occhi quando è felice. Gli oggetti etichettati e nominabili (una confezione di zucchero) producono quindi un significato combinato (occhi a cuore) e un significato allegorico fisso (una sensazione di gioia o di dolcezza).
Come discusso dal matematico Peli Grietzer, le reti neurali specifiche creano analogamente sintesi o mappature del loro set di dati di addestramento, che egli chiama “mondo di vita”, e questo mondo di vita deve essere usato per rappresentare, interpretare o agire a sua volta tutto ciò a cui le reti neurali sono successivamente esposte. In GOD MODE (ep. 1), i singoli elementi vengono utilizzati dall’IA per interpretare almeno la sua immagine, aumentando di dettaglio con il progredire dell’addestramento e riorganizzandosi in base agli stati emotivi.
GOD MODE (ep 1.) si basa su un motore di gioco e chiede al pubblico di interagire con esso come si farebbe con altre esperienze di gioco virtuale. Qual è l’importanza del gioco in questa opera?
Dopo una pandemia online nel 2022, abbiamo pensato che i motori di gioco si trovassero in un punto di incrocio interessante tra l’emergere come strumento di produzione artistica e l’emergere come strumento generalizzato per la produzione di realtà (dai dataset sintetici agli esperimenti di metaverso). Per questo motivo, abbiamo deciso di utilizzare i motori di gioco per ricreare un sistema di addestramento dell’IA attraverso il quale raccontare una storia fittizia sulla prospettiva che l’IA può acquisire del nostro mondo e della sua condizione.
Dato che si tratta di un’opzione cruciale, permettere al pubblico di interagire con il motore di gioco e con l’ambiente di addestramento dell’IA simulata è un modo prezioso per esplorare insieme un sistema tecnico complesso. Il gioco in questa opera coopera tra i membri del pubblico, il pubblico e noi come interpreti, e l’ambiente.
Il pubblico usa il proprio telefono per modificare l’aspetto dell’ambiente, che aiuta l’IA ad allenarsi e a barare più avanti nell’arco narrativo della storia. Anche noi giochiamo controllando i movimenti, la voce e le espressioni facciali del personaggio dell’IA. In questo modo si crea un emozionante feedback tra noi, che rappresentiamo l’IA frustrata, e il pubblico che risponde contemporaneamente ai requisiti della simulazione, inducendolo ad allenare l’IA e il suo stato emotivo di frustrazione (e in seguito di sollievo).
Se il pubblico è calmo, noi siamo calmi. Se il pubblico è eccitato, noi siamo eccitati. Questo gioco di ruolo collettivo come componenti di un sistema di apprendimento automatico cerca di rompere l’idea di una “IA” singolare e di considerare invece come l’IA sia plasmata dal suo contesto di addestramento e dai set di dati, nonché dall’intento e dalle ipotesi dei suoi addestratori umani.
GOD MODE (ep. 1) ruota attorno alla simulazione di un supermercato. Può dirci perché avete scelto l’ambiente del supermercato e che ruolo ha avuto in questo progetto?
Volevamo che l’ambiente simulato sembrasse banale e riconducibile alla realtà. I supermercati londinesi senza cassiere, come quelli di Amazon, sono un’interfaccia familiare per un sistema di sorveglianza datafied di dimensioni considerevoli. Pensiamo che questa familiarità faccia parte del loro design e del loro utilizzo come banco di prova per le nuove tecnologie. Così come le interfacce basate su schermi di computer inizialmente prendevano oggetti o metafore familiari dal mondo, qui vengono utilizzati spazi familiari, anche se indistinguibili. Il fatto che il pubblico possa relazionarsi con questo ambiente lo rende un ambiente ideale per questo lavoro, per esplorare e testare i limiti dei dati sintetici come tecnologia di addestramento dell’intelligenza artificiale.
Dal punto di vista artistico, ciò che ci interessava di questo lavoro non era tanto l’applicazione dei sistemi di IA, come il loro impiego nei supermercati urbani troppo cari, quanto il processo di produzione. Il supermercato è un’ambientazione generalizzata che ci permette di interrogarci su come lo sviluppo narrativo, la generazione di contenuti procedurali e l’interazione con il pubblico possano coesistere in un mondo le cui caratteristiche principali vengono rese e modificate in tempo reale, e di interrogarci sul rapporto tra linguaggio, prospettiva e percezione nei sistemi di IA prodotti all’interno di questi mondi.
Questo lavoro esiste anche come gioco per un solo giocatore (Godmode Epochs), che può essere scaricato gratuitamente su Steam o giocato online. Qual è stata la vostra esperienza nell’eseguire quest’opera dal vivo rispetto all’esistenza di un formato di gioco più tradizionale?
Godmode Epochs è un gioco di addestramento all’intelligenza artificiale in singolo e in multiplayer che abbiamo sviluppato e pubblicato nella prima metà del 2023. È la seconda opera d’arte finanziata dal già citato Public Engagement Grant dell’Alan Turing Institute.
In Godmode Epochs, ogni giocatore gioca una singola epoca di allenamento dell’intelligenza artificiale con una trama simile a quella di GOD MODE (ep. 1). Eppure. Mentre quest’ultimo presenta un inizio e una fine – in linea con un approccio tradizionale alla narrazione – il gioco è principalmente non narrativo. I giocatori devono addestrare un’intelligenza artificiale a riconoscere gli oggetti. Tuttavia, pur presentandosi come un clicker game convenzionale, presenta una meccanica controintuitiva in base alla quale i giocatori devono ottenere risultati scadenti per progredire: solo frustrando l’IA possono sbloccare un livello di gioco segreto “rogue-lite” in cui è possibile ottenere dei cheat per vincere la partita.
Una differenza fondamentale tra i due artwork è la visualizzazione dell’attaccamento del pubblico. GOD MODE (ep. 1) dedica molto tempo alla costruzione del mondo e del personaggio attraverso monologhi in evoluzione e il suo arco narrativo, e questo aiuta il pubblico a sentirsi legato al personaggio dell’IA anche se la sua partecipazione è relativamente limitata. In Godmode Epochs, invece, il monologo è generato esclusivamente con GPT-3, rispondendo alle azioni dei giocatori attraverso una poesia frustrata, meno capace di trasmettere gli stati emotivi dell’IA e di sviluppare un senso di autopercezione.
Il gioco, tuttavia, è stato progettato per dare molto più controllo ai giocatori e per creare dipendenza, invitando a un tipo di gioco speedrunning attraverso la visualizzazione costante di una classifica e la possibilità di rigiocare – è stato giocato più di 2000 volte dalla sua uscita nell’estate del 2023. C’è meno tempo per pensare e più per fare, e l’attaccamento che abbiamo osservato qui è quello alla sfida di vincere il gioco violando il sistema.
Cosa è più importante: prendersi o non prendersi troppo sul serio per essere creativi?
Non ci prendiamo troppo sul serio, il che sembra ostile data la natura del nostro lavoro, che spesso viene eseguito dal vivo e insieme al nostro pubblico. Come dice l’IA in GOD MODE (ep. 1): Come posso trovare qualcosa in un ambiente così ostile?
Prendiamo il lavoro seriamente, ma soprattutto quando affrontiamo argomenti *seri* includiamo sempre elementi umoristici. Come quando abbiamo pagato Nigel Farage per annunciare inconsapevolmente la nostra performance “ECHO FX”, che racconta come ha manipolato i mercati finanziari durante la notte del referendum sulla Brexit. Oppure la volta in cui abbiamo specificamente pagato un certo MAD Farmer per essere il direttore fantoccio della nostra società delle Seychelles che evadeva le tasse (o si trattava di studiare modi per ridurre la pressione fiscale…?). Questo faceva parte del nostro lavoro sulla finanza offshore, e MAD Farmer era coinvolto in così tanti affari loschi che abbiamo rilasciato interviste su di lui al New York Times e a Bloomberg. Abbiamo anche depositato presso l’HMRC diverse opere d’arte che documentano il nostro utilizzo della società da lui diretta, in modo che venissero esposte per sempre nella Companies House del Regno Unito come mostra permanente online.
Un’ultima domanda… di cosa non avete paura?
Mondi vitali pieni di immagini che sono solo ombre, suoni che sono solo echi, zeri… C’è un sacco di vuoto significativo e ci piace abbandonarci a questi purgatori e alle loro storie. Come scrisse Hafiz, “Lo zero è dove inizia il vero divertimento. C’è troppo da contare dappertutto”. Questi sono i temi della nostra prossima performance interattiva, che guardiamo attraverso le lenti del “folklore dell’intelligenza artificiale” e che stiamo attualmente sviluppando con il sostegno della Serpentine Arts Technologies e in collaborazione con una musicista che ammiriamo profondamente. Tenete d’occhio questo spazio.
