Frankenstein heeft spijt

Gabriels citeert voormalig Apple-techneut Tony Fadell, die tegenwoordig spijt heeft van de dingen die hij heeft ontworpen. “Het viel hem op dat zijn kinderen aan tafel de hele tijd op hun telefoon zaten te kijken. Hij besefte dat ze deze producten voor zichzelf ontworpen hadden, dat wil zeggen voor twintigers die single zijn en geen kinderen hebben. Maar ze hadden nooit nagedacht over andere contexten waarin de producten gebruikt zouden kunnen worden, zoals het gezin.”

Gabriels denkt dat dit probleem van meer algemene aard is en dat er voor universiteiten een rol is weggelegd bij de aanpak ervan. “Ontwerpers denken vaak dat ze exacte wetenschap bedrijven. Maar studenten beginnen langzamerhand te begrijpen dat ze niet met iets vrijblijvends bezig zijn.” In haar boek pleit ze voor ontwerpethiek en zegt zelfs dat er een variant van de eed van Hippocrates moet komen, waarmee ontwerpers beloven dat ze geen schade zullen aanrichten.

Kom bij ons niet om de waarheid!

De keuzes en compromissen die gemaakt moeten worden zijn complex en vaak ondoorzichtig. Gabriels denkt dat studenten bewust moeten worden gemaakt van de mogelijke gevolgen van hun ontwerpkeuzes en dat ze een conceptuele toolkit voor deze processen aangereikt moeten krijgen. “Ik heb aan de TU Eindhoven aan ontwerpers verplichte colleges over ethiek gegeven en ik denk dat het denken over ethiek bij ontwerpen gaat veranderen, net zoals het in de geneeskunde veranderde.”

Gabriels is geen handelaar in eenvoudige waarheden; ze richt zich altijd op denkwijzen en dialoog. “Kom bij ons niet om de waarheid! Het is niet zo dat ethici weten hoe het zit… maar we kunnen wel mensen leren hoe we samen kunnen nadenken over dingen.” Dat is precies wat ze nu gaat doen met Digital Society, het nieuwe interfacultaire bachelorprogramma van de UM, dat een combinatie is van technisch inzicht in digitale technologie en tools en invalshoeken uit andere disciplines.

Aandachtsdieven

Het zijn toch gewoon apps? Vanwaar al die opwinding? “In 2016 gebruikten al vier van de tien Amerikanen Facebook als nieuwsbron, dus dit is uiterst relevant voor de democratische samenleving – voor ons allemaal, nu.” Zou je, gelet op de nonchalante pogingen tot morele distantie, kunnen stellen dat techbedrijven echt zo achterbaks zijn? Is het in werkelijkheid een groep mensen die manieren bedenken om onze aandacht te trekken en die te gelde te maken?

“Dat is het letterlijk. Ze zitten om een tafel en maken deze producten zo afleidend mogelijk, van hoe je meldingen presenteert en hoe je interactie tot stand brengt tot zaken als autoplay (bijvoorbeeld dat de volgende video automatisch begint) tot refreshen tot eindeloos scrollen. Dit heet ‘distraction by design’.”

Onkunde en te weinig regulering

Beleidsmakers hadden gehoopt dat de branche zichzelf zou reguleren – als het zo goed gewerkt had in de financiële wereld, waarom dan ook niet hier? Het gebrek aan toezicht kende een memorabel hoogtepunt toen een grijnzende Mark Zuckerberg tijdens een hoorzitting in de Amerikaanse senaat het internet uitlegde aan (en selfies maakte met) een groep bedroevend slecht voorbereide senatoren, die daar zaten om de belangen van hun kiezers te behartigen.

“Het gebrek aan nuance in de media helpt ook niet,” zegt Gabriels laatdunkend over het niveau van het publieke debat. Op dezelfde manier als ze voedsel onderverdelen in kankervoorkomend en kankerverwekkend, copypasten de media lyrische persberichten over de volgende app/gadget ter perfectionering van de mens, terwijl ze zich tegelijkertijd verliezen in fantasievolle schattingen over het moment waarop moordzuchtige robots in onze organen op zoek gaan naar zware metalen.

Niet perfect, en ook niet waardevrij

Terwijl ons discours over algoritmen gebrekkig is, beïnvloeden algoritmen ons discours al op een ongelooflijk grote schaal. “Omdat het technologie is, wil dit niet zeggen dat die waardeneutraal is. Al die algoritmen moeten getraind worden met bestaande datasets. Als die data vertekend zijn, levert dat ook een vertekend algoritme op.” Gabriels noemt het beroemde voorbeeld van de eindeloze pagina’s met mierzoete foto’s die je krijgt als je ‘drie blanke tieners’ googelt, versus de stortvloed aan politiefoto’s die de zoekterm ‘drie zwarte tieners’ oplevert.

Behalve dat we moeten oppassen voor menselijke vooringenomenheid, moeten we ook de grootse beweringen van de techbedrijven met de nodige argwaan bekijken. “We gebruiken de term ‘intelligentie’ heel inconsequent. AI is absoluut fantastisch als het gaat over rekenkundige intelligentie zoals schaken, maar het functioneert nauwelijks autonoom en heeft moeite met het verwerken van taal, en op het gebied van software die emoties herkent zijn de meeste producten in feite onbetrouwbare rotzooi,” zegt Gabriels, die onacademisch taalgebruik niet schuwt.

Wees voorzichtig en wantrouwig

Voor haar draait het om transparantie. “De General Data Protection Regulation van de EU (in Nederland: Algemene verordening gegevensbescherming of AVG) geeft mensen het recht om te weten hoe AI een besluit neemt; in heel wat gevallen kunnen of willen bedrijven deze informatie niet geven. Ik vind dat ze ook de nauwkeurigheid van hun producten zouden moeten vermelden.” Gabriels denkt dat het hoe dan ook lastig is om alle verantwoordelijkheid bij de gebruiker te leggen. “Facebook verzamelt tenslotte ook gegevens van mensen die geen gebruik maken van hun diensten. ‘Offline’ is steeds meer een illusie.”

Naast regulering zoekt ze het antwoord in een betere dialoog. “Mensen moeten begrijpen wat distraction by design is, of dat je met je tijd en je aandacht betaalt voor de dienst die je gebruikt.” Ze neemt haar zendingswerk heel serieus. “Het gevaar van massasurveillance is al 40 jaar onderwerp van het wetenschappelijke debat – maar niet van het maatschappelijke debat. Wetenschappers zouden gestimuleerd moeten worden om meer deel te nemen aan het maatschappelijke debat.”