Silicon Valley moet leren dat scifi geen realiteit is

S. A. Applin is een antropoloog die onderzoek doet naar hoe vrij mensen in hun handelen zijn, algoritmes, AI en automatisering in de context van sociale systemen en sociale omgang. Lees meer op @anthropunk

"The trouble with a kitten is that eventually it becomes a cat.” – Ogden Nash

Scifi is fantastisch. Het is inspireert ons, het is leuk om te lezen en het brengt ons op ongelofelijke ideeën. Toch is scifi geen handleiding om zomaar dingen in de echte wereld te maken, zonder dat er overzicht, verantwoordelijkheid of een idee is wat de invloed op de maatschappij gaat zijn.

Gezichtsherkenningstechnologie bestaat al. Amazons Rekognition is een relatief makkelijke toolkit die developers kunnen gebruiken, en Microsoft Azure kan emoties herkennen en zien wie die emoties ervaart. Apple gebruikt gezichtsherkenning in iPhoto en op iPhones om foto’s te sorteren op welke persoon erop staat, en met FaceID kun je je telefoon met je gezicht ontgrendelen.

Andere bedrijven gebruiken deze technologie ook. Zelfs Adobe biedt gezichtsherkenning aan als onderdeel van het programma Photoshop Lightroom Classic CC. We zien deze technologie langzaam onze levens binnensluipen. Tot nu toe hebben we misschien nog weinig van de gezichtsherkenning gemerkt – behalve als een nieuw snufje op onze telefoons – maar wie zich er wat meer in verdiept ontdekt dat Amerikaanse basisscholen er al gebruik van maken, het de politie helpt bij hun werk achter de schermen en dat het wordt geïnstalleerd op de camera’s die agenten nu al dragen op hun uniform.

Een groot probleem met gezichtsherkenning en andere niet-bewezen technologieën is als grote bedrijven met toegang tot miljoenen mensen besluiten om dit soort beveiligingssystemen in het echt gaan testen. Dan heeft dit al heel snel serieuze gevolgen. Vorig jaar schreef ik dat mensen langzaam veranderen in ‘algoritmevoer’, omdat de data die ze genereren bedrijven als Amazon voedt, en die bedrijven gebruiken ons ‘datavoedsel’ weer om ons te volgen, te profileren, en om in de gaten te houden. Vorige week schreven Peter Asro, Kelly Gates en andere academici in een opiniestuk in The Guardian dat Amazon niet alleen aan de “infrastructuur voor gezichtsherkenning” bouwt, maar daarbij ook extreem veel persoonlijke informatie verzamelt, waaronder alles wat mensen lezen en kijken, en ook wat mensen thuis allemaal zeggen via Echo en Alexa. Ze hebben het hierbij over een “gigantisch automatisch surveillancesysteem” dat een even groot reguleringssysteem nodig heeft. Alleen is zo’n systeem op dit moment nog niet ontwikkeld.

Waarschijnlijk zal dat ook nooit ontwikkeld worden. Om te begrijpen waarom, is het belangrijk om te snappen wie de mensen zijn die deze surveillancesystemen bouwen, en waarom zij bouwen wat ze bouwen. Hun rijkdom, bereik en hun middelen reiken verder dan die van nationale overheden. Daarbij kost het tijd om regulering te ontwikkelen voor technologie die al in gebruik is. Daarom roepen zoveel academici, ethici en werknemers van tech-bedrijven op tot actie. We maken ons hele terecht zorgen.

Mijn onderzoek richt zich op de mensen achter automatisering, en in mijn proefschrift volg ik makers en producenten in Silicon Valley over een periode van acht jaar. Ik begrijp innovatie en zeker ook die ‘disruptive innovators’. Deze mensen en hun producten zijn op twee mogelijke manieren gevaarlijk: als de interpretatie van scifi letterlijk wordt genomen en invloed krijgt, en als het Pareto-principe verkeerd wordt gebruikt.

Tech-producenten en tech-miljardairs worden om verschillende redenen door scifi beïnvloed. Soms heeft het iets te maken met het verhaal van de ‘hero outsider’ die zijn kennis en vaardigheden gebruikt om een probleem op te lossen door tech op een nieuwe manier toe te passen. Soms heeft het iets te maken met het bouwen aan een Utopische samenleving die beter wordt door tijdbesparende apparaten. De deuren in Star Trek, de datakennis en datatoegang die altijd net op tijd is in films als Blade Runner, Star Wars, Minority Report, etc. werken allemaal perfect in scifi. Als dingen wel misgaan, dan is er vaak een technologische oplossing. Zelfs als scifi zich tegen de mens keert, zoals in 2001: A Space Odyssey, dan zijn de technische snufjes op een bepaalde manier nog steeds een inspiratie. Ook al is het bedoeld als een soort waarschuwing, die ‘cool technology’ is nog steeds aantrekkelijk.

Dat een probleem wordt opgelost omdat het menselijke technici lukt om met technische ontwikkelen een oplossingen te vinden, is een scifi-mythe. Dat automatisering feilloos en foutloos werkt, en dat informatie makkelijk wordt overgedragen aan de juiste personen in de juiste context, is ook een scifi-mythe. In scifi worden problemen opgelost omdat schrijvers een oplossing hebben bedacht; automatisering werkt precies op tijd; data en kennis werd nauwkeurig overgebracht. Dat komt allemaal omdat al deze oplossingen zo zijn beschreven dat ze kunnen functioneren zonder dat alle details zijn uitgewerkt. Het hoeft namelijk allemaal niet in de echte wereld te functioneren.

De tech-producenten en -miljardairs die worden beïnvloedt door scifi lijken te denken dat dingen in de echte maatschappij net zo kunnen werken als in scifi. Er is een ‘expectation bias’ waardoor ze denken dat deze dingen in de echte wereld ook zullen werken zonder dat er toezicht is of dat ze grondig worden getest.

Gadgets, diensten, en technologieën werken in scifi omdat het fictie is. Ze werken omdat het een verhaal is, en zo laten het schrijvers en filmmakers ze ook zien. Ze werken in scifi, omdat het nogal makkelijk is om iets te laten werken in een verzonnen verhaal, omdat ze niet echt zijn en in het echt ook niet zo hoeven werken.

In de echte wereld zal het nooit precies zo werken als in fictie. Dat kan niet. De context, de tijd en de mensen zijn anders. Scifi blijft fictie.

Dit gaat niet alleen op voor gezichtsherkenning. Maar ook voor voor veel andere technologieën die voor sommigen werken, maar niet voor de samenleving als geheel. Bijvoorbeeld: autonome voertuigen, drones, jetpacks, vliegende auto’s, VR, AR, stemherkenning, chatbots, smart home-apparaten met stemherkenning zoals Google Home, Amazon Alexa, Apple’s HomePod en Siri, Microsofts Cortana Home Assistant, Googles Smart Compose, Google Duplex, killerrobots, bezorgrobots, geautomatiseerde supermarkten en nog veel meer technologieën die onze wereld vormen. Sommige toch zien we niet, maar het beïnvloedt onze infrastructuur wel. Het industriële internet of things, productiesrobots, logistieke algoritmes en meer werken om onze leven te automatiseren op een manier die we niet zien.

Gezichtsherkenningstechnologie en andere dataverzamelings-, bewakings- en trackingtechnologie van de grootste bedrijven (Google, Apple, Microsoft, Amazon, etc.) wordt uitgerold als een concreet plan voor actie, creatie en operationele inzet, gebaseerd op fictieve verhalen die alleen zo werken omdat ze zijn bedacht.

Producten die zijn gebaseerd op scifi hebben in de echte wereld niet dezelfde interoperabiliteit als in de fictieve wereld. Ze hoeven geen rekening te houden met de culturele verschillen, achtergronden en behoeften. Ze hoeven geen rekening te houden met de ouderen, of mensen met een beperking en ze hoeven niet anders te werken voor de verschillende genders.

Tech uit scifi hoeft helemaal niet te werken – behalve op de fictieve manier waarop ze dat in scifi-verhalen doen.

Bedrijven die investeren in deze tech die voortkomt uit mythes van een magische toekomst, proberen dit fictieve verhaal nu realiteit te maken in een maatschappij die nog geen tijd heeft gehad om zich hieraan aan te passen en dat misschien wel nooit gaat doen.

Mensen wordt verteld dat ze zich moeten aanpassen aan het idee dat we met onze gezichten geïdentificeerd gaan worden, zoals we ons al tientallen jaren proberen aan te passen aan nieuwe apparaten. Aan machine learning, big data en AI zullen we ons nog meer moeten aanpassen.

Een deel van hoe we ons moeten aanpassen wordt bepaald door dingen die op fictie zijn geïnspireerd en in de echte wereld helemaal niet zo blijken te werken als “op tv”. We helpen continu om een algoritme zich verder te laten ontwikkelen of proberen er omheen te komen om onze levens te kunnen leven. Sommige algoritmes vinden we wel leuk, en sommigen zijn afschuwelijk en eng (vooral wanneer ze ons proberen te vermoorden, of ons in gevaarlijke situaties brengen). Het is een dreigende bende die steeds meer van onze tijd opslokt.

Maar al deze tech samen in verschillende hardware- en de softwarevormen, zou ons zorgen moeten baren. We hebben toegestaan hoe een rijk machtsblok (tech-miljardairs en de bedrijven waar ze de baas over zijn) ons heden en toekomst vorm kan geven, gedeeltelijk gebaseerd op verzonnen verhaaltjes over een mythische toekomst.

Deze verhalen zijn niet getest en ze worden al op een gigantische schaal uitgerold.

Ze functioneren niet volledig.

Nog belangrijker: elke vorm van gerealiseerde scifi of fantasy is misschien wel helemaal niet verenigbaar met de visies van anderen die hetzelfde proberen te doen. Hierdoor wordt de wereld, met echte mensen, culturen en maatschappijen, op elk moment een proeflab voor meerdere technologische ‘projecten’. De technologieën die voortkomen uit scifi worden niet in samenwerking gemaakt. De mensen die deze technologieën ontwikkelen doen dat zonder overleg met anderen die tegelijk hetzelfde proberen te ontwikkelen. Iedereen doet maar wat.

Zoals onze overheden nu werken, kunnen ze ons niet beschermen – ze kunnen de ontwikkelingen niet eens volledig begrijpen. Niet-geteste surveillance-technologie kan de maatschappij veel schade berokkenen. Protesten zijn tot op zekere hoogte effectief geweest: de werknemer die Microsoft verzocht om Azure niet aan de Amerikaanse immigratiedienst te leveren, kreeg steun van meer dan 300 academici en onderzoekers.

Een ander probleem met de grootschalige verspreiding van toegepaste scifi is dat de ontwikkelaars die deze technologieën bouwen en de zakenmensen die ze aan de man brengen, het Pareto-principe (ook wel de 80-20-verhouding genoemd) vaak anders interpreteren. Vilfredo Pareto was een econoom die de verdeling van inkomen bestudeerde. In 1906 observeerde hij dat 20 procent van de erwtenplanten in zijn tuin voor 80 procent van de opbrengst zorgde. Hij gebruikte dit idee om de ongelijke verdeling van rijkdom te bestuderen en kwam met zijn bekende voorbeeld dat 20 procent van de Italiaanse landeigenaren 80 procent van het land bezit. Pareto bewees dat vanuit een economisch oogpunt, input en output ongelijk verdeeld zijn.

Joseph M. Juran was een techneut en managementconsultant. Hij leerde het werk van Pareto kennen en paste het toe op zijn vakgebieden: mechanische techniek en kwaliteitscontrole. Juran maakte een paar aanpassingen aan de theorie van Pareto en hernoemde het ‘het Pareto-principe’. Het principe werd gebruikt als mechanisme om te laten zien dat een klein aandeel in arbeid zorgt voor een groot gedeelte van de opbrengst. Het doel van het principe was om uit te zoeken hoe je met zo min mogelijk input zoveel mogelijke output kunt genereren

. Dit principe werd verder gebruikt in het bedrijfsleven als een manier om besluiten in productontwikkeling te verklaren. Na verloop van tijd hebben verschillende interpretaties van het principe gezorgd voor het ontstaan van verschillende geloofssystemen in software design en marketing, waarbij sommigen geloven dat een ‘ minimum viable product’ goed genoeg is om op de markt te brengen. De theorie van de 80-20-verhouding is zo ook aangepast dat het de lancering van incomplete, niet-geteste software goedpraat.

Het is niet heel verrassend dat daarom zoveel mensen zo hard hun best moeten doen om samen te werken bij een bedrijf waar de automatisering niet goed rekening is gehouden met hun behoeften. Er wordt geen rekening gehouden met gevallen die afwijken van de norm; wat de realiteit is in een wereld waar mensen in leven. Dit betekent dat software die niet 100 procent accuraat werkt, wordt gebruikt door de politie, overheden en ook private bedrijven. En dat is gevaarlijk.

De foutratio in gezichtsherkenning is in sommige gevallen 92 procent en in andere minder dan 50 procent. In een studie claimt een Amerikaanse techbedrijf dat hun “gezichtsherkenningssysteem een nauwkeurigheid van 97 procent heeft. Alleen werd dit wel getest met een dataset waarvan 77 procent man was en 83 procent wit.” Tech-bedrijven verspreiden technologieën die ontstaan zijn als gevolg van een samenraapsel van verschillende fantasieën die nog niet volledig gevormd zijn en waar niet helemaal goed over nagedacht is.

De schrijvers van de verhalen die deze ontwikkelingen hebben geïnspireerd zijn niet aansprakelijk voor de gevaren die door hun creativiteit ontstaan – en dat hoeft ook niet. Maar het is wel duidelijk dat tech-miljardairs de scifi zien als een soort handleiding, in plaats van zoals het bedoeld is: een verhaal. En daar ligt het probleem.

Als die geautomatiseerde wereld voor mensen in het heden moet werken, dan hebben we de grootste kans op een succesvol, op scifi geïnspireerd, leven als we binnen die 97 procent nauwkeurigheid vallen (dat profiel komt waarschijnlijk vooral overeen met dat van de tech-miljardairs en de mensen die bij deze miljoenenbedrijven werken). Iedereen die niet bij die 97 procent hoort ( dat zijn er een hoop) en die niet over dezelfde macht en de rijkdom beschikken als de tech-elite, zijn proefkonijnen geworden die afhankelijk zijn van de grillen van mensen die een scifi-wereld proberen te maken. Zij krijgen heus niet de keuze om wel of niet mee te doen aan dit experiment.

Het wordt tijd dat deze labs, kantoren, start-ups en bedrijven sociale wetenschappers aannemen, die ze kunnen helpen begrijpen dat hun visie misschien niet helemaal rijmt met de realiteit. En dat die visie misschien nog wat aangepast moeten worden voordat-ie op de markt komt – en of dat überhaupt wel een goed idee is. Zolang nieuwe technologie zonder toezicht verder wordt uitgerold, zullen de problemen alleen maar groter worden.

We worden bedolven en overladen met prikkels. We moeten ons sneller aanpassen dan we aankunnen. Daardoor ontwikkelen we allerlei strategieën om maar onze dagen door te komen. En weinig daarvan functioneren zo simpel als de apparaten uit de scifi-verhalen.

Volg Motherboard op Facebook, Twitter en Flipboard.