De toekomst van beeldmanipulatie kunnen we rustig overlaten aan algoritmes

Photoshoppen is al best wel makkelijk. 'Smart tools' worden steeds slimmer en steeds beter in het vuile werk voor amateurs doen. Als Photoshop een operatiekamer was, zou je geblinddoekt een roestig kapmes rond kunnen zwaaien en zou de software er nog steeds voor zorgen dat je hersenoperatie prima lukt. Dit is echter nog maar het begin.

Onderzoekers van Brown University hebben een nieuw algoritme ontwikkeld dat digitale beelden totaal kan veranderen. Foto's kunnen door het algoritme uitgerust worden met 40 "tijdelijke attributen;" dingen als weer, seizoen, stemming, tijd van de dag, etc. En blijkbaar doet de computer dat zo goed, dat 70 procent van de deelnemers aan een onderzoek aangaven dat ze de veranderingen die het algoritme maakte, beter vonden dan foto's die met de hand waren aangepast. Een paper waarin het werk beschreven wordt, wordt volgende week gepresenteerd bij de SIGGRAPH computerconferentie.

The editing performed by the Brown algorithm is far more complex than simply putting a landscape through some filter. I can make a scene feel "rainy" easy enough via some smart-phone app filter, but it won't hardly stand up to scrutiny; changes in light affect everything in a scene, and in ways that can't be predicted by a swapped lens. Just to start, think about shadows and reflections and glimmering beads of moisture. There's nothing casual about making the edits needed to change an image from "sun" to "rain" to "snow."

De aanpassingen die door het Brown-algoritme worden uitgevoerd zijn veel complexer dan alleen een filtertje over een landschap knallen. Ik kan prima een foto 'regenachtig' maken door er op mijn smartphone een filtertje overheen te zetten, maar als iemand er kritisch naar zou kijken zou het resultaat weinig overtuigend zijn; verandering in licht beïnvloedt alles in beeld. Zo zijn er de schaduwen en reflecties en glimmende druppels water. Het is niet triviaal om de aanpassingen te maken die een beeld van "zonnig" naar "regen" naar "sneeuw" veranderen.

"Ik ben al heel lang geïnteresseerd in het makkelijker maken van beeldmanipulatie," vertelt John Hays, een van de ontwikkelaars van het algoritme. "Programma's als Photoshop zijn heel erg krachtig, maar je moet praktisch een kunstenaar zijn om alles eruit te halen. We willen dat iedereen beelden net zo makkelijk kan manipuleren als tekst." Enter zelflerende algoritmes.

Niet helemaal zelflerend, natuurlijk. De onderzoekers maakten gebruik van Mechanical Turk om de saaie taak van 8,000 foto's – verzameld uit 101 stationaire webcams van over de hele wereld, die landschappen in verschillende omstandigheden vastlegden – te labelen met de juiste tijdelijke attributen.

Dat kwam er op neer dat iemand een beeld ontving, samen met een lijst omschrijvingen die aangevinkt moest worden. De resultaten werden vervolgens overgedragen aan een lerend algoritme, dat beeld na beeld een 'idee' kreeg van wat al die attributen betekenen.

"De computer heeft nu de data om te leren wat het betekent dat het zonsondergang is, of hoe zomer eruit ziet, of regen – of tenminste wat de perceptie is van die verschillende dingen," zei Hays. De volgende stap is om dan een nieuw beeld te nemen, op te delen in clusters van pixels en bepalen welke veranderingen gedaan moeten worden om die delen het gewenste resultaat te laten tonen.

"Als je de foto regenachtiger wil maken, dan weet de computer welke delen van de lucht grijzer en platter moeten worden," legt Hays uit. "In delen die eruit zien als grond, worden de kleuren glimmender en verzadigd. Het algoritme doet dit voor honderden verschillende delen van de foto."

Hoewel het algoritme textuur en kleur kan toevoegen, wordt het gelimiteerd door de mogelijkheid om structuren aan een beeld toe te voegen; het kan bijvoorbeeld geen bladeren toevoegen aan bomen als een beeld van winter naar lente gaat. "We kunnen dat niveau van detail tot nog toe niet synthetiseren."

Ook kan het Brown-algoritme geen lollige teksten aan een beeld toevoegen of gezichten door katten vervangen. Die taken blijven weggelegd voor menselijke handen. Voorlopig.