2022-03-31 (De Groene Amsterdammer) Help, ik ben een database!

Nou ja, ten dele dan. Hoe vruchtbaar de machine-metafoor ook mag zijn, we mogen een metafoor niet verwisselen met de realiteit. Hij onthult op zijn best een bepaald aspect van wat en wie wij zijn en plaatst dat aspect op de voorgrond. Hoewel het mechanistisch-materiële mensbeeld de huidige levenswetenschappen domineert, slaagt het er nog altijd niet in greep te krijgen op onze binnenwereld, de wereld van subjectieve ervaringen: gedachten, waarnemingen, lichamelijke sensaties, motieven en gevoelens, morele waarden, schoonheid, religieuze extase. De levende ervaring van de kleur of smaak van aardbeien of van de vlinders in je buik bij een verliefdheid laten zich niet in mechanische termen beschrijven. En zelfs wanneer je deze ervaringen in een wiskundige formule zou kunnen vangen, is die niet hetzelfde als die ervaring zelf. Maar hoewel iedereen bekend is met dergelijke kwalitatieve ervaringen, zijn ze door de vluchtigheid van onze binnenwereld nog lastiger te vangen dan ons lichamelijke kenmerken, die deel uitmaken van de fysieke, meetbare buitenwereld.

Daarom zijn we ook wat de binnenwereld betreft aangewezen op niet-materiële metaforen. Omdat Descartes ‘onsterfelijke ziel’ aan geloofwaardigheid heeft verloren, is het levensverhaal een populair identificatiemodel geworden. Als we onszelf of anderen trachten te begrijpen, nemen we vaak onze toevlucht tot verhalen. Evenals een verhaal speelt ons leven zich af in de tijd, heeft het een begin en een eind, is het verweven met herinneringen aan voorafgaande gebeurtenissen en anticipaties van toekomstige, en doordrenkt met motieven, gevoelens en waarde. En net als verhalen wordt ons leven gekenmerkt door toeval en tegenwerking. Ons leven is een plan waar telkens iets tussenkomt. En anders dan de materiële processen in de buitenwereld, die door algemene wetmatigheden worden bepaald, is ieder levensverhaal uniek. Zeker, er zijn herkenbare genres –  de queeste, de  tragedie, de romantische komedie – maar wat fictieve en reële levensverhalen zo intrigerend maakt is precies hun uniciteit en eenmaligheid.

Net als bij machine-metafoor is ook de verhaal-metafoor een conceptuele en materiële metafoor ineen. Het verhaal, zo betoogt filosoof Paul Ricoeur, biedt niet alleen een treffend beeld van ons leven, maar onze ‘narratieve identiteit’ wordt ook daadwerkelijk geconstrueerd door middel van verhalen. Uit de vele en vaak ambigue levenservaringen construeren we een expliciet levensverhaal om ons vervolgens daarmee te identificeren. Daarbij maken we niet alleen gebruik van onze eigen levenservaring, maar identificeren we ons ook met de levensverhalen van reële en fictieve rolmodellen.

Informatieverwerkende systemen

Mensen zijn onuitputtelijke wezens. De geschiedenis van de technologie biedt telkens nieuwe metaforen aan om onszelf te duiden. Waar de vele millennia-oude ´alfa-technologie´ van het gesproken en op schrift en te boek gestelde verhaal ons een narratieve identiteit verschafte en de meer recente ´bèta-technologie´ van de machine een mechanistisch zelfbeeld, is met de ontwikkeling van de computer en de daarop gebaseerde informatietechnologieën een nieuwe bron van zelfidentificatie op de voorgrond getreden. Met de computer-metafoor wordt de mens – en in het bijzonder het menselijke brein – voorgesteld als een ‘informatie-verwerkende machine’.

Het fascinerende van de computer is dat hij een brug slaat tussen de genoemde alfa- en bèta-technologieën. Computers zijn weliswaar machines (ze vormen de subklasse van automaten, die op basis van een programma ingevoerde data zelfstandig kunnen verwerken), maar tot de verwerkte data behoren ook verhalen (bijvoorbeeld bij narratieve computer games) en andere talige en op taal gebaseerde verschijnselen, zoals het recht (juridische expertsystemen) en de politiek (kieshulpen). En in het menselijk verkeer ontpopt de computer zich bovendien als een ‘gamma-technologie’, gericht op de regulering van menselijk gedrag. Sociale netwerken als Facebook en Tiktok, datingsites als Tinder en Parship en gsm, ble, gps en nfc chips in mobiele telefoons en smartcards bepalen met wie en op welke wijze we kunnen communiceren en elkaar ontmoeten, welke ruimtes en transportmiddelen we mogen betreden en welke financiële transacties we kunnen verrichten.

Omdat de programmeerbare computer ieder proces kan simuleren, noemde Turing hem niet zonder reden een universele machine. En informatietechnologie wordt om die reden ook wel aangeduid als een systeemtechnologie, niet alleen omdat deze uit een veelheid van heterogene componenten bestaat (hardware, software, protocollen, wetgeving, etc.), maar ook omdat het vervlochten is met vrijwel alle systemen en processen in de samenleving (zie het artikel van Corien Prins & Haroon Sheikh in nr. 1 van deze jaargang van De Groene Amsterdammer). Daarom ook functioneert de informatietechnologie steeds meer als het ‘besturingssysteem’ van ons leven. In die zin is ook de computer-metafoor zowel een conceptuele als een materiële metafoor. De stelling die ik wil verdedigen is dat deze metafoor ons niet alleen verleidt om onszelf als een database op te vatten, maar ons ook letterlijk transformeert tot een database.

Databases

Data – getallen, woorden, afbeeldingen, geluiden etc. - vormen de grondstof van de computer en worden door de computer in digitale vorm opgeslagen en verwerkt. Databeheer behoort vormt daarom de basis van de informatietechnologie en daarbij spelen databasemanagementsystemen een centrale rol. Het begrip ‘database’ kan daarbij op meerdere dingen slaan. In de eerste plaats wordt het gebruikt om een verzameling data aan te duiden, ook kan het verwijzen naar de fysieke drager van die data (boek, kaartenbak, computergeheugen) of naar de manier waarop die data zijn georganiseerd (het database model).

Met betrekking tot de database kunnen vier basisoperaties worden onderscheiden, die wel het ABCD van de databeheer worden genoemd: Add (toevoegen van data), Browse (doorzoeken van de data), Change (updaten van data) en Destroy (verwijderen van data). Databases kennen een lange geschiedenis, die wordt gekenmerkt door een toenemende flexibilisering. Het ouderwetse telefoonboek is een voorbeeld van de starre papieren database. Hoewel daarin snel en efficiënt de naam van een abonnee kon worden opgezocht, vereiste het toevoegen, updaten en verwijderen van data dat het telefoonboek in zijn geheel werd herdrukt, tot verdriet van de postbode, die ze moest distribueren. Kaartenbakjes met contactgegevens hadden het voordeel dat daarin tamelijk eenvoudig data kunnen worden toegevoegd, veranderd en verwijderd. Het probleem bleef echter dat ook dit type database net als het telefoonboek maar langs één dimensie kon worden doorzocht, op naam van de abonnees. Wie meerdere dimensies wilde doorzoeken moet de kaartenbak in zijn geheel herordenen of meerdere kaartenbakken naast elkaar gebruiken (zoals de klassieke indexen in de bibliotheek, waarin dezelfde data eenmaal op auteur en eenmaal op onderwerp zijn geordend). En ook het kopiëren en distribueren van kaartenbakken bleef een tijdrovende activiteit.

Met de in netwerken verbonden computers heeft de flexibilisering van het databeheer een enorme vlucht genomen. Met een eenvoudig spreadsheetprogramma kan een contactenlijst op ieder kenmerk – naam, adres, postcode, telefoonnummer, e-mailadres, leeftijd, partner, beroep etc. – worden geordend. Ook het kopiëren en uitwisselen van data en complete databases wordt ogenschijnlijk een fluitje van een cent.

De in de jaren zeventig tot ontwikkeling gekomen relationele database vormt in zekere zin het hoogtepunt van deze flexibilisering. In dit type database wordt het object van databeheer ‘geatomiseerd’, zoveel als mogelijk opgedeeld in enkelvoudige, niet verder deelbare elementen. Vervolgens kan met behulp van zoekopdrachten (query’s) in principe ieder element met alle andere worden gerecombineerd. Als je de eerder genoemde contactenlijst in een relationele database opslaat, kun je desgewenst alle loodgieters in een specifiek postcodegebied onder een bepaalde leeftijd selecteren. En in een webshop, streamingdienst of datingsite kun je zo het artikel, de film of de partner selecteren die aan al je criteria voldoet.

Databasemanagement is een economische goudmijn. Het succes van mondiale BigTech bedrijven als Amazon, streamingdiensten als Spotify en Netflix en datingsites als Tinder en Parship is gebaseerd op de transformatie van het klantenbestand tot een relationele database. Wanneer je een boek bij Amazon bestelt, worden je persoonsgegevens niet alleen gerelateerd aan je zoek- en koopgeschiedenis en beoordelingen, maar ook aan die van alle andere klanten. Op basis daarvan doet Amazon je aanbevelingen - ‘Klanten die x kochten, kochten ook y’. Inmiddels is meer dan een derde van alle door Amazon verkochte artikelen het resultaat van dergelijke aanbevelingen. In 2012 verwierf het bedrijf een patent voor een ‘anticipatory shipment’ algoritme, dat artikelen al in jouw richting stuurt voordat je ze hebt besteld of zelfs maar zou kunnen weten dat je ze zou willen kopen.

De mens een database

De databasering van de mens is niet tot de economische sfeer beperkt gebleven. Dankzij  de ‘datafication of everything’ worden steeds meer data gekoppeld aan onze persoonsgegevens, van financiële transacties, telefoonverkeer en mediagebruik tot aan onze medische en genetische data, politieke voorkeuren en verplaatsingen door de geografische ruimte.  Bovendien worden de talloze meer of minder gestructureerde databases in toenemende mate samengevoegd tot gigantische ‘datameren’ (Big Data), die worden onderworpen aan uiteenlopende vormen van datakoppeling, datamining en data-analyse. Met behulp daarvan worden patronen en correlaties in het gedrag van groepen en individuen blootgelegd ten behoeve van de diagnose, voorspelling en beheersing van het menselijk verkeer.

 Daarbij worden ook verschillende vormen van kunstmatige intelligentie (artificial intelligence oftewel ai) ingezet. Deze zijn deels gebaseerd op klassieke regelgeleide (stap-voor-stap) algoritmen (juridische expertsystemen werken vaak op die manier), en deels op digitale neurale netwerken (deep learning). In het laatste geval ontdekt het programma zelfstandig en op een zelfs voor experts onnavolgbare wijze patronen in omvangrijke dataverzamelingen. Zo gebruiken artsen neurale netwerken om goedaardige van kwaadaardige tumoren te onderscheiden en gebruiken bio-informatici databases met klinische en genetische data van patiënten er achter komen welke genetische  afwijkingen corresponderen met bepaalde ziektepatronen, op basis waarvan moleculaire genetici een therapie kunnen ontwikkelen (bijvoorbeeld door met behulp van crispr-Cas9 – een programmeerbare genetische schaar – een ziekmakende genen te vervangen door een gezonde varianten) of om te voorspellen welke kans een nog gezond persoon heeft in de toekomst een bepaalde ziekte te ontwikkelen, waardoor deze zijn lifestyle desgewenst kan aanpassen.

Met behulp van een genetische databases kun je bovendien de genen van verschillende organismen recombineren. Zo worden bijvoorbeeld menselijke genen ‘ingebouwd’ in het genoom van schapen om medicijnen tegen hemofilie en taaislijmziekte te produceren. En in januari 2022 werd in Baltimore bij een patiënt met een ernstige hartziekte een varkenshart geïmplanteerd nadat het eerst door genetische modificatie zodanig was aangepast dat het – hopelijk – niet afgestoten zal worden door het afweersysteem van de patiënt. Dergelijke mens-diercombinaties vormen materiële metaforen van de database-technologie.

Diagnostische, voorspellende en op beheersing gerichte vormen van Big Data analyse worden behalve in het bedrijfsleven en in de gezondheidszorg ook veelvuldig door overheden gebruikt, bijvoorbeeld om potentiële fraudeurs, criminelen en terroristen op te sporen, of – vaak in nauwe samenwerking met wetenschappers van verschillende snit – sociaal-economische, politieke, militaire, epidemiologische en klimatologische ontwikkelingen te voorspellen.

Misère in de database

Hoewel het onmiskenbaar is dat de dataficering van het menselijk leven talloze nuttige toepassingen kent, zijn de laatste decennia ook de schaduwzijden zichtbaar geworden. In 2008 stonden ondoorzichtige financiële algoritmen aan de basis van een wereldwijde bankencrisis en twee jaar later leidden algoritmen die beurshandelaars helpen bij dalende koersen automatisch te verkopen tot een Flashcrash. In het ‘tijdperk van het surveillance kapitalisme’ is ook steeds duidelijker geworden dat het verdienmodel van sociale media als Facebook, dat erop gericht is zoveel mogelijk voor reclamedoeleinden te vermarkten dataverkeer te genereren, behalve gigawinsten voor de BigTech bedrijven, maar ook nepnieuws, asociaal gedrag en maatschappelijke tegenstellingen bevordert. De schade bleef niet beperkt tot de financiële en economische wereld. Klokkenluiders als Edward Snowden onthulden dat civiele en militaire inlichtingen- en veiligheidsdiensten in de VS illegaal en op grote schaal data aftapten en in 2018 leidde de eveneens illegale manipulatie van de data van Facebookgebruikers door Cambridge Analytica ten behoeve van de Trump-campagne tot grote verontwaardiging, die zich niet tot de VS beperkte.  In China worden ondertussen databases en data-analyse massaal ingezet bij de ontwikkeling van nieuwe vormen van digitale disciplinering en biopolitiek, zoals het sociaalkredietsysteem en de etnocide van de Oeigoeren in de provincie Xinjiang laten zien. En de in 2018 aan het licht gekomen data-aftappraktijken van de mivd en de Toeslagenaffaire rondom de Belastingdienst, die in 2020 leidde tot de val van het kabinet Rutte III, lieten zien dat de databasetechnologie ook in Nederland heeft geleid tot ‘ongekend onrecht’.

Weapons of Math Destruction

Ten aanzien van de met de databasetechnologie verbonden problemen kunnen verschillende oorzaken worden onderscheiden. In de eerste plaats kunnen ze het gevolg zijn ondeugdelijke data. Een bekend adagium in het databeheer luidt ‘Garbage in, carbage out’. Zo maken medische expertsystemen, zoals de onlangs op tv vertoonde documentaire Reference Man liet zien,  vaak uitsluitend gebruik van de data van witte mannelijke patiënten, waardoor de kans groot is dat er bij vrouwen of niet-witte mensen een verkeerde diagnose wordt gesteld of een verkeerde therapie wordt gestart.

Hoewel het Latijnse woord ‘data’ letterlijk vertaald ‘gegeven’ betekent, zijn data in werkelijkheid nooit gegeven, maar worden ze gemaakt en geselecteerd.  Zo zijn zelfs ogenschijnlijk objectieve persoonsgegevens als geboortedatum, geslacht en nationaliteit geen natuurlijke feiten, maar worden ze op basis van bepaalde culturele conventies en historische ontwikkelingen aan mensen toegekend. Een geboortedatum is bijvoorbeeld afhankelijk van  het gebruik van een Gregoriaanse of islamitische kalender.  En de actuele genderdiscussies laat zien dat ook ‘geslacht’ geen simpel gegeven is, maar een keuze, die niet zonder vooroordelen (bias) is. Of men kan kiezen uit twee geslachten of – zoals bij Facebook sinds 2014 – uit 58 verschillende geslachten (wat voor Facebook zowel uit oogpunt van atomisering als vermarkting winst betekent) is afhankelijk van hoe men in genoemde discussie staat. En of categoriseringen als land van herkomst, etniciteit, religie, politieke voorkeur of strafblad deel uitmaken van de Basisregistratie Personen (BRP) is een besluit, dat nauw samenhangt met de politieke vooroordelen van de makers van zo’n datamanagementsysteem.

In de tweede plaats hangt veel af van de kwaliteit en de juiste interpretatie van de uitkomst van de gebruikte algoritmen. Datamining is erop gericht om te discrimineren, onderscheidingen aan te brengen. Betreft de afbeelding een goed- of kwaadaardig gezwel, is deze persoon een fraudeur of niet, valt deze muziek binnen het smaakpatroon van de consument of erbuiten? Daarbij moet het midden worden gevonden tussen ‘sensitiviteit’ (ziet het algoritme wat het moet zien?) en ‘specificiteit’ (ziet het geen dingen die er niet zijn?). Dat is een precair evenwicht waar eenvoudig fouten kunnen ontstaan. Bovendien hebben niet alleen mensen vooroordelen, maar ontwikkelen algoritmen die ook. Dat zien we bijvoorbeeld bij ai’s als PredPol, een predictive policing programma gericht op het voorspellen en voorkomen van crimineel gedrag door middel van waar-wie-wanneer registratie van bepaalde vormen van criminaliteit in de stad. Als er op basis van een dergelijke voorspelling meer gesurveilleerd wordt in een bepaalde wijk en er als gevolg daarvan meer criminelen worden betrapt, dan heeft dat een zelfversterkend effect (self-fullfilling prophesies), omdat er in die wijken dan ook weer meer criminaliteitsdata worden verzameld, wat weer leidt tot een grotere inzet van politie.  

De profilering van mogelijke daders heeft een zelfde effect, want wanneer er meer personen van een bepaalde etnische bevolkingsgroep worden aangehouden, zal die groep ook weer sterker vertegenwoordigd worden in de criminaliteitsdata. Dit gebeurde bij het kunstmatig-intelligente Systeem Risico Indicatie (SyRI), dat door de Belastingdienst werd gebruikt om toeslagenfraude te voorspellen en dat tussen 2012 en 2015 ‘dubbele nationaliteit’ als een van de selectiecriteria gebruikte. Dat leidde ook tot etnische profilering. In deze gevallen leidt discriminatie niet alleen tot onderscheiding, maar ook tot ongelijke behandeling, wat in strijd is met het eerste artikel uit de Nederlandse grondwet.

Algoritmen en ai’s, zo betoogt wiskundige Cathy O’Neil in Weapons of Math Destruction (2016), richten niet alleen onbedoeld schade, leed en onrecht aan, maar ze worden vaak ook met opzet misbruikt door BigTech bedrijven, bankiers, beurshandelaren en overheden om zichzelf ten koste van anderen te verrijken, de rechtsstaat en democratie te ondermijnen of zelfs om etnocide of genocide te plegen.

Ontmenselijking

De filosoof Martin Heidegger stelde in de jaren vijftig van de vorige eeuw – de peutertijd van de elektronische computer – dat de mens meent met behulp van de moderne techniek over de aarde te heersen, maar dat hij gedoemd is daarbij zelf het ultieme object van technologische beheersing te worden.

Daarbij moeten we niet alleen denken aan de genoemde schade, leed en onrecht die de genoemde ‘malgorithms’ al of niet bedoeld aanbrengen, maar ook, op een meer fundamentele niveau, aan hun ontmenselijkende werking. De dataficering van de mens reduceert de mens tot een kwantificeerbaar en berekenbaar ‘ding’. Deze reductie deelt de computer-metafoor met de machine-metafoor, maar de computer-metafoor gaat daarbij nog een stap verder doordat hij zich niet beperkt het menselijk lichaam, maar ook kwalitatieve ervaringen – schoonheid, rechtvaardigheid, liefde – tot object van berekening maakt. De ideologie van het dataïsme – het geloof dat alles in kwantificeerbare data is te vangen, dat deze data objectief en de algoritmen en kunstmatige intelligenties onfeilbaarbaar zijn – leidt ertoe dat gevoelens en kwalitatieve oordelen worden afgedaan als ‘subjectief’, ‘irrelevant’, ‘misleidend’ of zelfs ‘illusoir’.

Voorspellende algoritmen ondermijnen daarbij onze ervaring van menselijke vrijheid en verantwoordelijkheid. Moraal en recht zijn gebaseerd op het idee dat we een zekere handelingsvrijheid hebben. We worden verantwoordelijk gehouden voor ons gedrag omdat we anders hadden kunnen handelen dan we de facto hebben gedaan. En we worden beoordeeld op wat we in het verleden hebben gedaan. Deze ideeën zijn nauw verbonden met de verhaal-metafoor. Die metafoor, is zoals alle metaforen, een product van verbeelding en als zodanig fictief te noemen. Maar als materiële metafoor is het wat Kant een ‘heuristische fictie’ noemt, een fictie met reële effecten, die ons daadwerkelijk vrij en verantwoordelijk maakt.

Voorspellende algoritmen claimen te kunnen vaststellen wat ons toekomstig gedrag en toekomstige omstandigheden zullen zijn. Ze leggen ons in het heden vast als de koper, zieke of crimineel die we in de toekomst zullen zijn. Daarbij ondergraven ze onze narratieve causaliteit, ons vermogen ons handelen door redenen te laten motiveren. Het is dankzij dat vermogen dat we verantwoordelijk kunnen worden gehouden voor ons handelen en de toekomstige gevolgen daarvan. Een rechter zal daarom bij zijn oordeel veel gewicht hechten aan de redenen die een verdachte had voor zijn handelen. Big Data analyse is daarentegen in het geheel niet gericht op narratieve causaliteit. Of zoals Mayer-Schönberger en Cukier het,  niet zonder trots (sic), stellen in Big Data. A Revolution That Will Transform How We Live, Work, and Think (2013): ‘Knowing  what, not why, is good enough’.

Die uitspraak is correct in de zin dat Big Data analyse inderdaad geen betrekking heeft op causale relaties van welke soort dan ook, maar slechts handelt over toevallige statistische correlaties. Het feit dat er een opmerkelijke correlatie bestaat tussen het eten van ijsjes en bosbranden betekent niet dat het eten van ijsjes bosbranden veroorzaakt, of dat je bosbranden zou kunnen bestrijden door het eten van ijsjes te verbieden. Als de gevonden correlatie bovendien het gevolg is van een discriminerende keuzen, zoals in de Toeslagenaffaire, waarbij het hebben van een dubbele nationaliteit als risicofactor voor fraude werd gehanteerd, kan dat leiden tot de even dwaze als onrechtvaardige gevolgtrekking dat het hebben van een dubbele nationaliteit de oorzaak is van fraude en dat je fraude zou kunnen bestrijden door het bij voorbaat straffen van personen met een dubbele nationaliteit en het omkeren van de bewijslast. Het doet denken aan Spielbergs visionaire film Minority Report (2002), waarin voorspelde criminaliteit leidt tot ‘anticipatory imprisonment’ van de verdachten.

Spielbergs film draait om de vraag of de vrije wil bestaat als de toekomst kan worden voorspeld. Het gevaar van voorspellende algoritmen is niet dat ze aantonen dat vrijheid om je toekomst zelf te bepalen niet bestaat, maar dat ze die vernietigen. De slachtoffers van de Toeslagenaffaire kunnen erover meepraten. Weliswaar werden de gestraften anders dan in de film niet opgesloten, maar ze werden net als hen wel beroofd van hun toekomst.

Er doet zich daarbij bovendien een kwaadaardige paradox voor. Voorspellende algoritmen pretenderen de toekomst te voorspellen, maar in feite steunen ze geheel op extrapolaties van het verleden. Dat mag  zinvol zijn waar het de levenloze natuur betreft die aan vaste natuurwetten gehoorzaamt, maar het miskent de openheid naar de toekomst die de narratieve causaliteit kenmerkt. De mens is ook ondoorgrondelijk, doordat het handelen van een individu nooit volstrekt voorspelbaar is. Een verstokt atheïst kan zich op haar sterfbed bekeren, een crimineel kan tot inkeer komen, een trouwe partner zich ontpoppen als vreemdganger. Ook historische gebeurtenissen – oorlogen, epidemieën, wetenschappelijke uitvindingen – zijn principieel onvoorspelbaar. Of zoals Wilhelm Dilthey, een van de grondleggers van de theorie van de narratieve identiteit het uitdrukt: ons grootste geluk en ongeluk komt meestal door de deur van het toeval ons leven binnen.

Wanneer de mens door de digitale versnipperaar van de database wordt gehaald, verliest hij zijn individualiteit (ondeelbaarheid) en wordt hij letterlijk tot een dividu, een reeks digitale datasnippers in een datameer. Dat mag handig zijn voor BigTech bedrijven en overheden ten behoeve van algoritmische disciplinering en biopolitiek, maar het ondergraaft ook die kenmerken die de mens zijn menselijkheid verschaft: de ervaring van keuzevrijheid en verantwoordelijkheid.

Politieke informatica en actie

Het zou naïef zijn te denken dat dataficering, algoritmen en kunstmatige intelligentie zullen verdwijnen. En omdat het nuttige middelen kunnen zijn bij onze pogingen het hoofd te bieden aan de steeds complexere problemen waarmee we in de eenentwintigste eeuw worden geconfronteerd, zoals de klimaatcrisis, is dat ook niet wenselijk. Maar het is wel van het allergrootste belang  te voorkomen dat de nadelen en gevaren die aan deze middelen kleven – de vergroting van de kloof tussen arm en rijk, de ondermijning van rechtsstaat en democratie, en de vernietiging van menselijke vrijheid en verantwoordelijkheid – hun nut gaan overvleugelen en zelf de grootste bedreiging gaan vormen.

Dat vereist niet alleen een ‘kritiek van de politieke informatica’ die ons bewust maakt van de genoemde gevaren, en een politieke en technische verbeeldingskracht om alternatieve toepassingen van databases en databasemanagement te ontwikkelen, maar ook concrete politieke actie om deze technologieën in de gewenste richting bij te sturen. Daarbij staan fundamentele thema’s op het spel, zoals een rechtvaardig eigendoms- en gebruiksrecht van de data die door de gebruikers worden geproduceerd, transparantie en verklaarbaarheid (explainability) van de gebruikte algoritmen en ai’s, de rechtsstatelijkheid en het democratische gehalte van het nationale en internationale databasemanagement in alle maatschappelijke domeinen en – niet in de laatste plaatst – onze menselijkheid.

 Met betrekking tot die menselijkheid lijkt me dat vooral ten aanzien van de inzet van voorspellende algoritmen en ai’s om beslissingen te nemen over individuen grote terughoudendheid moet worden betracht, zeker wanneer laatstgenoemden geen (mede)zeggenschap hebben over het gebruik van de data en de gehanteerde risicoprofielen en/of door het gebruik van neurale netwerken waarvan de werking zelfs voor de ontwerpers ondoorzichtig en onvoorspelbaar is. Dit om te voorkomen dat ons hetzelfde noodlot wacht als tragische heersers Oedipus en Macbeth, die door hun poging de door orakels of heksen voorspelde rampspoed af te wenden, deze juist zelf veroorzaken.

De opgaven zijn niet gering. De tegenspelers – de grote (bio)technologische agrochemische multinationals en autoritaire staten als China en Rusland – zijn machtig en kunnen alleen bedwongen worden door samenwerking van krachten die de genoemde waarden vertegenwoordigen, zowel in het maatschappelijk middenveld als op nationaal en internationaal niveau. Het is bemoedigend dat het bewustzijn van de gevaren van de informatietechnologie en het maatschappelijk tegenspel groeit en dat er zowel nationaal als internationaal initiatieven ontstaan om tot een betere regulering te komen. In april 2021 presenteerde de Europese Commissie een Artificial Intelligence Act, een wet die bepaalt aan welke juridische, ethische en technische, ‘met inachtneming van democratische waarden, mensenrechten en rechtsstatelijkheid’ ai systemen moeten voldoen om tot de Europese markt toegelaten te worden en in november van dat jaar schaarden de EU-landen zich achter de Digital Services Act (DSA) en Digital Markets Act (DMA) die gebruikers moeten beschermen tegen kwalijke content en moet voorkomen dat de grote techbedrijven hun macht misbruiken. Het nieuwe kabinet (Rutte IV) kent nu in de persoon van Alexandra van Huffelen (D66) voor het eerst een staatsecretaris Digitalisering, die onder meer als taak krijgt algoritmen en ai’s te controleren op ‘transparantie, discriminatie en willekeur’. De staatsecretaris, in het vorige kabinet verantwoordelijk was voor de zich nog altijd voortslepende afhandeling van de Toeslagenaffaire, weet in ieder geval hoe het niet moet. Dat belooft wat voor de toekomst.

Dit essay is een bewerking van een lezing die De Mul onlangs gaf in De Studio van museum NEMO ter gelegenheid van de tentoonstelling Bits of You, die nog te zien is tot 1 mei 2022.

.