Het Tay-experiment van Microsoft was een doorslaand succes

Wij mensen zijn altijd al narcistisch geweest in onze drang naar vooruitgang. Van onze nerveuze fascinatie voor seksrobots tot de antropocentrische oogkleppen die onze zoektocht naar buitenaardse wezens belemmert, zijn onze innovaties vaak niet meer dan een spiegel die onze eigen behoeftes reflecteert. En waarom zou vooruitgang niet egoïstisch zijn? Het doel is om de wereld een betere, interessantere plek te maken, maar dat zijn van zichzelf subjectieve doelen.

De grote vraag is dan, als we technologie en ontdekking steeds verder blijven ontwikkelen, voor wie we dat eigenlijk doen? Dit is wat Rose Eveleth vraagt in haar nieuwe column, Bij Voorbaat Bevooroordeeld: tech reflecteert de mensen die het bouwen en ontwerpen, waardoor een gebrek aan diversiteit bij de makers leidt tot een gebrek aan diversiteit in het eindproduct. Met gezichtsherkennigsalgoritmes als voorbeeld, die altijd al moeite hebben met gemarginaliseerde groepen, schrijft ze "gezichtsherkenning is een simpele herinnering aan het feit dat deze technologie niet voor jou gemaakt is."

Dit soort vooroordelen ontstaan meestal niet uit kwade wil, maar dat maakt het feit niet beter dat technologie mensen uitsluit omdat de ontwikkelaars niet doorhadden dat ze dingen over het hoofd zien. Onze toekomst is niet gelijk verdeeld, en toegang voor iedereen is een van de belangrijkste problemen waar onze industrieën en ontwikkelingen mee moeten omgaan.

Maar deze week hebben we inzicht gekregen in een totaal ander aspect van dit toekomstbeeld gezien: wat gebeurt er als technologie niet wordt ontworpen in de gelijkenis van de ontwerper, maar uiteindelijk meer lijkt op elke individuele gebruiker? Een daadwerkelijk gedistribueerde technologie zou normen en waarden leren van ons allemaal. Maar of dat nou zo zo'n goed idee is?

Er zijn een hoop blogs geschreven over Tay, de chatbot van Microsoft die tieners moest nadoen om te "experimenteren met en onderzoek te doen naar conversationeel begrip," aldus de officiële site van Tay. Tay werd ontworpen om door middel van "informele en speelse conversatie" op Twitter te leren hoe mensen praten, om beter met ons te te kunnen levelen – zodat wij een ervaring kunnen krijgen die "persoonlijker is voor jou."

Maar wie is "jou," in dit geval? In het begin was de "jou" van Tay een kantoorlul die tienertaal probeert te spreken – ik kan mijn lach nog steeds niet inhouden bij de nietszeggende originele bio van Tay "Microsofts A.I. fam from the internet that's got zero chill!" Het klinkt als een reclame uit de jaren negentig – wat je ongeveer zou verwachten van een onderzoek van Microsoft gericht op tieners. Behalve wat onhandige houterigheid was er nog niet aan de hand. Maar hoe eindigde Tay duizenden en duizenden tweets later? Als een kwade racist, natuurlijk.

Tay is specifiek ontworpen om geen afspiegeling te zijn van haar ontwerpers, maar van de gebruikers die ermee omgaan. En daar is Tay totaal in geslaagd! Het is een belangrijke verandering in het ontwerp: de "jou" is in dit geval de mensen die Tay daadwerkelijk gebruiken, wat niemand uitsluit. Tay heeft geen oogkleppen, omdat Tay constant leert van haar gebruikers. Dit in tegenstelling tot Siri, die niet wist hoe ze moest reageren op vragen over verkrachting of mishandeling, waarschijnlijk omdat het nooit in haar programmeurs opkwam dat iemand dat zou willen zoeken.

Als tech ontworpen is om te leren en te veranderen als respons op de gebruiker en niet de ontwerper, zouden vooroordelen verdwijnen. Dat is waarschijnlijk waarom Microsoft Tay in de eerste plaats bouwde. Als het bedrijf doorheeft dat ze niet goed zijn in praten met tieners, dan is het logisch om geen tijd te verspillen aan het bouwen van productendie voldoen aan het beeld van tieners dat een 40-jarige programmeur heeft. Dus waarom niet gewoon technologie ontwerpen die uit zichzelf leert van tieners? In dit ideale scenario, kunnen programmeurs het uitsluiten van mensen vermijden door een AI marktonderzoek, communicatie en strategieontwikkeling te laten doen.

Een podcast die onze Amerikaanse collega's maakten over hoe mensen met bots omgaan.

Grappig genoeg zit er in dat ideaalbeeld ook weer een ingebouwd vooroordeel: de programmeurs hadden een nogal rooskleurig beeld van waar Tay allemaal aan blootgesteld zou worden in het wild. Ze vergaten blijkbaar dat het bouwen van een technologie die haar gebruikers spiegelt, ALLE gebruiker spiegelt. En hey, dit is het internet: er zijn een hoop nare mensen, die er ook nog eens van genieten om luider te zijn dan de rest.

Het is opvallend dat meerdere blogs over de racistische tirades van Tay de moeite namen om uit te leggen dat het niet de schuld van Microsoft of Tay was dat de chatbot een hoop racistische dingen spuide. Het is een algoritme, leggen ze uit, en een experimenteel algoritme ook nog, dus laten we Microsoft niet lynchen.

Het is een eerlijk argument dat we algoritmes niet moeten verwijten dat ze domme dingen doen. Maar die gedachte zorgt voor een redelijk diepgaand raadsel: Wie controleert Tay? Microsoft is, net als Twitter, zeker schuldig aan een naïeve voorspelling van hoe snel Twitter een menselijke afvalhoop wordt. Dus hoewel Microsoft haar eigen oogkleppen herkende en een AI inzette om daaromheen te werken, toonde het bedrijf ook dat ze fundamenteel niet begrijpen hoe verschrikkelijk naar Twitter-gebruikers kunnen zijn. En dat is kwalijk, want het is bij vrijwel elke grote campagne op Twitter gebeurd. Weet je nog, Coca-Cola en Mein Kampf?

Dat is belangrijk, niet als een excuus om de schuld van de misdragingen van gebruikers in de schoenen van Microsoft of Coca-Cola te schuiven, maar als bewijs dat de belangrijkste aankomende technologie – daadwerkelijk intelligente AI – nog altijd zeer vatbaar is voor de oogkleppen van de maker. De droom bestaat dat een AI die jou leert kennen – jou, het mens dat dit nu leest – uiteindelijk vrij van vooroordelen of bias zal zijn. Het leert wie jij bent, het bestaat om jou te helpen, en zal niet onbedoeld jouw verlangens negeren of per ongeluk iets beledigends zeggen.

De belangrijkste les hier is groter: Naar mate onze apparaten online gaan en met elkaar praten om zelf beslissingen te maken op basis van wat ze leren over ons gedrag, zal het Internet of Things steeds meer gaan lijken op een soort AI, die gevuld zal raken met steeds meer daadwerkelijke AI. Dit is een grote droom: technologie die voor jou werkt, en precies weet wat jij nodig hebt, in plaats van wat een bedrijf denkt dat je nodig hebt.

Maar zoals Tay aantoont, zijn mensen lang niet zo verfijnd als een marketingprofiel van onze mensheid zou suggereren. Dat betekent dat technologie die daadwerkelijk reflecteert wie we allemaal zijn, ook de gemene en nare mensen zal bevatten, en de enige manier om daarmee om te gaan is dezelfde oplossing voor het probleem van onbedoelde vooroordelen: ontwikkelingsteams die niet divers genoeg zijn om hun eigen oogkleppen te identificeren zullen uiteindelijk altijd de werkelijkheid van hun gebruikers verkeerd begrijpen – op eigen risico.