OpenAI verslaat menselijke spelers met ‘Dota 2’ door vals te spelen

Op 5 augustus versloeg een team van kunstmatige intelligente bots professionele spelers in twee opeenvolgende games Data 2. Het team, genaamd de OpenAI Five, is ontwikkeld door OpenAI, een non-profit technologiebedrijf gesponsord door, onder andere, Elon Musk en Peter Thiel.

Data 2 is een multiplayer online vechtgame. Teams van vijf strijden tegen elkaar op een grote kaart, waarbij ze via drie smalle paden de verdedigingstorens van het team van de tegenstander proberen neer te halen, om uiteindelijk de basis te vernietigen.

“Het speelde zo totaal anders dan alle tegenstanders tegen wie we hiervoor hebben gespeeld,” zegt Austin Walsh, een van de Data 2-spelers, verslagen door de KI. “Het leek een bijna onzinnige aanpak.” Walsh vertelt dat de bots gekke strategieën gebruikten zoals het groeperen van vier helden in één pad terwijl een ander werd geofferd. “Daar zijn nog meer voorbeelden van – het speelde gewoon zo anders,” zegt hij.

Media die schreven over de strijd, richtten zich vooral op de overweldigende overwinning. “Bots versloegen menselijke pro’s in ‘Data 2’ en het was amper een competitie,” schreef BGR. “OpenAI Bots verpletteren de beste menselijke Dota 2 spelers ter wereld,” kopte ExtremeTech. Betekent dit dat KI al slimmer is dan mensen als het gaat om het spelen van competitieve videospellen? Niet helemaal.

Het team van OpenAI Five bots bestond uit een algoritme van neurale netwerken, die grofweg een brein kunnen simuleren en ‘leren’ om een taak te volbrengen na een proces van training en feedback. Het onderzoeksbedrijf liet het team van KI bots een Data 2 training doorlopen van 180 dagen, en dat heeft zijn vruchten afgeworpen. Wel kregen de bots te maken met een aantal heel specifieke restricties.

Data 2 is een ingewikkeld spel met meer dan 100 helden, waarvan sommige opvallende krachten bezitten die het hele spel kunnen veranderen. Voor dit experiment was de pool van helden beperkt tot 18. Dat is een ongelofelijke handicap, omdat een groot deel van Data 2 gaat om het kiezen van de beste samenstelling van een groep en het reageren op de samenstelling van het team dat de tegenstander kiest. Als je het aantal strijders van meer dan 100 terugdringt naar 18, maak je het voor de KI een stuk simpeler.

De OpenAI Five bots speelden Dota 2 door de spelinformatie direct van zijn applicatieprogrammeringsinterface (API) te lezen, waardoor andere programma’s ook makkelijk met Dota 2 konden communiceren. Hierdoor wordt de informatie vanuit het spel direct overgebracht op de KI, terwijl de menselijke spelers eerst het scherm visueel moeten interpreteren. Als een mens in staat was dit ook te doen in een strijd tegen een ander mens, dan zouden we dat waarschijnlijk zien als valsspelen.

In juni werd een (menselijke) pro-speler met zijn hele team gediskwalificeerd omdat hij een programmeerbare muis gebruikte. Open AI Five werkt alsof het hele team programmeerbare muizen heeft, en waarbij de teamleden ook nog eens telepathisch met elkaar kan communiceren.

“De API is zo gemaakt dat het niet meer informatie vrijgeeft dan een mens zou kunnen krijgen,” zegt Mark Riedl, hoogleraar KI en machine learning aan de Georgia Tech College of Computing. “Maar wat ze wel kunnen weten, weten ze perfect en in een fractie van een seconde. Ze zouden eigenlijk moeten werken met een input-systeem dat is gebaseerd op full vision. Ze moeten op hetzelfde speelveld werken als mensen, die ook hun ogen moeten gebruiken.”

Walsh zegt dat hij de onnatuurlijke capaciteiten van de bots wel heeft opgemerkt. “De bot speelt met zulke overtuiging van zijn kennis,” zegt hij. “Het weet precies waar iedereen is, het weet precies hoeveel kracht jij nog hebt. Het weet precies hoeveel schade het kan aanbrengen bij de drie of vier helden uit een pad en het slaat direct toe op het moment dat jij in een slechte positie staat. Het weet al die informatie precies. Ik heb nog nooit met zoiets gespeeld, het was fantastisch om naar te kijken.”

Zelfs met alle voordelen van de AI, wisten Walsh en zijn team de bots in een derde spel te verslaan, toen de wedstrijdorganisatoren de selectie van de helden overliet aan het publiek. Zij gaven de AI een zwakke samenstelling van het team. Walsh denkt dat hij en zijn team de AI uiteindelijk wel zou kunnen verslaan in een eerlijke strijd, zelfs als de pool van helden is beperkt en er andere restricties gelden.

“Als je eenmaal een manier hebt gevonden om het te verslaan, zal het niet zomaar in staat zijn om zichzelf te corrigeren,” zegt hij. “Dat is het menselijke voordeel. Zodra je een zwakke plek hebt gevonden, kun je daar gebruik van maken.”

Riedl zegt dat Go en Data 2 laten zien dat KI binnenkort misschien slim genoeg worden om complexe taken buiten een game te volbrengen. “Er wordt vaak gezegd dat het leren spelen van games voor een KI een opstapje is naar iets dat meer lijkt op de complexiteit van de echte wereld.”

Maar Riedl waarschuwt ook dat games niet hetzelfde zijn als de echte wereld. Games hebben regels en andere vormen van feedback, zoals punten. De grenzen zijn duidelijk en een KI is geprogrammeerd om binnen deze grenzen te werken. “Die kunstmatige onderdelen die het spel leuk maken voor een mens is juist waar onderzoekers van KI op steunen.”

In andere woorden: het is indrukwekkend om een robot te zien winnen bij een spelletje Go of Data 2, maar het is nog steeds een machine die loopt op code – als je het een effectbal zou toewerpen, zou het moeite hebben om te herstellen, en de echte wereld is een opeenstapeling van effectballen.

Toch, ondanks de kanttekeningen, was Riedl nog steeds enthousiast. “Het laat zien dat sommige dingen die bekend staan als extreem moeilijk ook aangepakt kunnen worden met een computersysteem.”