Pubblicità
Tech by VICE

Guarda un computer che impara a giocare a 'Doom' mentre sogna

Cosa succede quando alleni tre modelli di machine learning dentro alla loro stessa idea allucinata del mondo?

di Jordan Pearson
30 marzo 2018, 9:29am

Immagine: id Software 

L'idea di poter allenare un'abilità reale mentre sogni per poi metterla in pratica da sveglio, è un po' fissa da contemplatori di acqua del bong, un po' enigma scientifico. Il dottor Daniel Erlacher dell'Università di Berna, in Svizzera, per esempio, ha condotto diversi studi su cosa succede se pratichi attività come squat e freccette in uno stato di sogno lucido — il fenomeno per cui sei consapevole di stare sognando — e poi ci riprovi nella vita vera.

Ma, mentre la ricerca per gli esseri umani non è ancora arrivata a una conclusione, i computer sono decisamente già in grado di sognare una propria versione del mondo e usarla per imparare cose. Nella fattispecie: i ricercatori David Ha (di Google Brain, il reparto di machine learning del gigante tech) e Jürgen Schmidhuber sono riusciti a portare una macchina ad "allucinare" — per usare le loro parole — una sua idea di che aspetto ha il videogioco del 1993 Doom. Poi, hanno messo un agente virtuale a giocare la versione onirica di Doom per imparare a giocare quella vera.

Potete vedere come funziona su una pagina web che i ricercatori hanno messo a disposizione martedì. Se avete bisogno di una descrizione, immaginate qualcuno che filma una partita a Doom da un monitor a tubo catodico con della vaselina spalmata sulla lente.

L'allestimento per il machine learning era composto in tre parti: prima un modello che produce una versione compressa dell'ambiente di gioco basata su uno snapshot (tipo un MP3 con un bitrate basso o un JPG fritto), poi un altro modello che prende quell'informazione per ottenere una distribuzione di probabilità di che aspetto avrà il frame successivo. Questi due modelli, presi insieme, compongono la visione astratta che l'agente virtuale ha del "mondo." Infine, c'è il modello di controllo che ha accesso alle funzioni di ricompensa del gioco per compiere scelte su cosa fare nella partita sulla base delle predizioni dei precedenti modelli.

Una macchina che schiva fucilate in sogno. Immagine: WorldModels

Tutti questi modelli di machine learning, connessi uno all'altro, permettono a un agente virtuale di percepire un mondo in gioco e interagirci in modo appropriato. Ma cosa succede se spingiamo la macchina ancora più a fondo nel suo stesso sogno?

Per farlo, Ha e Schmidhuber hanno chiesto al modello predittivo di campionare le proprie predizioni sullo stato di gioco come fonte per predizioni successive, creando un'idea completamente immaginata del mondo virtuale basato su una cosa vera. Al modello è stata data la capacità di predire se il giocatore muoia o meno nel frame successivo oltre a predire il frame stesso, creando le condizioni per un agente virtuale di giocare e allenarsi dentro allo stato di sogno ch ricrea in modo probabilistico l'idea che una macchina si è fatta di Doom (tecnicamente, una versione di Doom per machine learning chiamata VizDoom).

Stando ai ricercatori, questo approccio astratto al training potrebbe rendere possibile per i motori più potenti che renderizzando videogiochi tripla A di, per esempio, calcolare in fretta le dinamiche fisiche complesse di una certa scena. A prescindere, comunque, è uno sballo assurdo contemplare questa cosa e pensare all'umanità.

Questo articolo è apparso originariamente su Motherboard US.