Tech

​Je kunt dankzij Nederlands onderzoek nu video’s zoeken aan de hand van emoji’s

Soms zoek je iets, maar kun je niet zo goed in woorden beschijven waar je nou precies naar op zoek bent. Dankzij een onderzoek van de Universiteit van Amsterdam is er nu emoji2video, een zoekmachine waarmee je filmpjes kan vinden met zoekopdrachten die alleen uit emoji’s bestaan. Het klinkt misschien een beetje als een gimmick, maar er zit interessant wetenschappelijk onderzoek achter de zoekmachine.

In een paper beschrijven Spencer Capello, Thomas Mensink en Cees Snoek hoe emoji2video werkt. De zoekmachine baseert de resultaten op twee bronnen: de beschrijving die bij de video staat en wat er daadwerkelijk in het filmpje te zien is. In eerder onderzoek hebben de drie een algoritme bedacht dat de inhoud van afbeeldingen samenvat in emoji. Het algoritme analyseert de afbeeldingen en kijkt welke concepten in die afbeelding voorkomen. Dan kijkt het algoritme welke concepten in de beschrijving van de afbeelding staan en in hoeverre die overeenkomen met de concepten die het zelf in de afbeelding ziet. Aan de hand daarvan kan een rangschikking gemaakt worden van concepten die de afbeelding het beste omschrijven.

Videos by VICE

Ik zocht op

en ik kreeg voetfetisjisten

Die concepten worden vervolgens gekoppeld aan een bijbehorende emoji, en zo ontstaat een omschrijving van de afbeelding in emoji’s. Volgens de onderzoekers heeft dit één heel groot voordeel: emoji’s betekenen in iedere taal hetzelfde, dus iedereen kan de emoji-beschrijving begrijpen.

Deze technologie is vervolgens op video’s toegepast. Een algoritme kijkt naar enkele willekeurige frames van een filmpje en bepaalt welke emoji’s daar het beste bij passen. Het algoritme berekent een soort gemiddelde van de emoji’s van de individuele fames en vergelijkt dat met de emoji’s die bij de omschrijving van de video passen. Uit deze berekening komt een lijst van emoji”s die het best bij het filmpje als geheel passen. In emoji2video voer je als gebruiker één of meerdere emoji’s in en dan kijkt de zoekmachine, net als iedere zoekmachine, welke video het meest overeen komt met jouw zoektermen.

Natuurlijk heb ik emoji2video ook even zelf geprobeerd. Ik gebruikte de volgende zoekterm:

. In mijn ogen betekent dit “een feestelijk kattenfilmpje met voetbal,” een prima recept voor een leuke websnack. Emoji2video bracht me naar een youtubevideo met als titel “Toby playing with cat toy ball, then pees” en ik heb er heel even om gelachen. Missie geslaagd dus. Toby bleek alleen wel een hond te zijn, die overigens best veel op een kat leek. Maar verder was Toby wel in een feestelijke stemming. Zó feestelijk dat hij zijn plasje niet kon ophouden.

Hier zie je het eerste resultaat van mijn zoekopdracht. Je ziet welke emoji’s in het algemeen het beste bij het filmpje passen en je ziet ook met welke emoji’s het algoritme de individuele frames van het filmpje heeft beschreven.

Het is veel interessanter dat emoji2video mij naar een filmpje bracht dat maar 32 views had. In internettermen bestaat dit filmpje eigenlijk niet. Als ik via de zoekmachine van YouTube bij dit filmpje had willen komen, dan had ik op zijn minst van het bestaan van Toby af moeten weten. En ik had ook moeten weten dat hij een hond is die graag met kattenspeeltjes speelt.

Zoekterm

.

Emoji2video laat zien dat er andere manieren zijn om dingen op het internet te vinden dan de manieren die we kennen. En dat we zo dingen kunnen vinden, die normaal nooit gevonden zouden worden. Dat maakt het interessant om deze ontwikkeling in de gaten te houden. Emoji2video is nu nog slechts een demonstratie van wat de technologie van Cepello, Mensink en Snoek allemaal kan. De zoekmachine neemt lang niet alle filmpjes van YouTube mee en je kan ook lang niet alle emoji’s gebruiken in je zoekopdracht. Maar dat neemt niet weg dat je er zeker even mee kan spelen.

N.B.: Natuurlijk heb ik als eerste naar

gezocht. En nee, je krijgt met die zoekopdracht geen piemels te zien.