Kijk hoe AI van elke grauwe wintervideo zonnige zomerbeelden maakt

Machine-learning-algoritmes worden steeds beter in het maken van nepbeelden die bijna niet van echt te onderscheiden zijn. Wetenschappers van videokaartboer Nvidia presenteerden op de Conference on Neural Information Processing Systems hun nieuwste werk waarmee het mogelijk is om het weer te veranderen – in een video dan.

Image translation is een vorm van machine learning waarbij een beeld ingevoerd wordt en aan de andere kant van dit proces er een video met andere eigenschappen uit komt rollen. Bijvoorbeeld een algoritme waarbij een weg vol sneeuw verandert in een warme zomeravond – zoals dat de mensen van Nvidia is gelukt:

Het lijkt een beetje op het Pix2Pix-project dat een een aantal nogal griezelige algoritmische gezichten opleverde. Zij gebruiken variational autoencoders (VAEs) en generative adversarial networks (GANs) om het algoritme te trainen. Het YouTubekanaal 'Two Minute Papers' legt het duidelijk uit: dat is als een neuraal netwerk synthetische afbeeldingen maakt in een poging om een ander netwerk voor de gek te houden en dat dat tweede netwerk ook steeds beter leert ook om nepbeelden van echte te onderscheiden. En door deze algoritmische tango wordt het ene netwerk steeds beter in het maken van nepbeelden en het andere netwerk steeds beter in het herkennen daarvan. En dat levert uiteindelijk weer betere plaatjes op.

Hoofdonderzoeker Ming-Yu Liu vertelde in een mail dat het doel van dit werk was dat machines zelf leerden om zich scenes “voor te stellen”. “Dat is een moeilijke uitdaging omdat de meeste AI beelden nodig heeft (de trainingsdata) die erg lijken op zowel de input- als de outputbeelden.

Dit soort “voorstellingen” zouden zelfrijdende auto's kunnen helpen om sneller te leren om te rijden in verschillende weersomstandigheden zonder dat een auto, bijvoorbeeld, moet trainen in de sneeuw.

De onderzoekers van Nvidia gebruikten zes van deze netwerken in hun experimenten. En de resultaten zijn best geloofwaardig als je niet te goed kijkt. Als je zou vertellen dat deze beelden een paar maanden later met een goedkope dashcam waren gemaakt, zou ik je geloven.