Het beoordelen van mensenrechtenschendingen bij algoritmes

De zaak tegen Meta Ierland

Op 18 februari heeft het College voor de Rechten van de Mens (hierna: College) een belangrijke uitspraak gedaan over de reikwijdte van fundamentele rechten en platformregulering. De zaak betreft het recht op non-discriminatie op sociale mediaplatforms. Hoewel socialemedia-platformen al vaker voor de rechter zijn gedaagd is dit een bijzondere zaak. Het College heeft in deze zaak geoordeeld dat het algoritme van Facebook (onderdeel van Meta), in strijd is met het beginsel van non-discriminatie, zoals uitgewerkt in de Algemene wet gelijke behandeling (Awgb). De zaak is een van de eerste die specifiek een algoritme van sociale media in strijd met grondrechten verklaart. Het kan een toonaangevende zaak worden in het kader van regulering van algoritmes en zet de deur open naar meer grondrechtenbeoordelingen van algoritmes. Daar staat tegenover dat de zaak ook aantoont hoe ingewikkeld het beoordelen van een algoritme is. Het College heeft in de beoordeling ook belangrijke punten laten liggen, maar voordat deze aan bod komen volgen eerst de feiten.

Feiten van de zaak

De zaak betreft advertenties voor vacatures die op Facebook werden getoond. De vacatures werden geplaatst door twee organisaties, Global Witness en Clara Wichmann. Zij hadden aan Meta twee criteria meegegeven voor het gewenste publiek. Het moest geplaatst worden bij gebruikers die 18 jaar of ouder waren en woonachtig in Nederland. In totaal hadden de stichtingen negen vacatures die ze over een periode van twee jaar lieten tonen op het Facebook-platform. De vacatures bleken voornamelijk getoond aan genderspecifieke groepen.

Zo werden vacatures voor secretaressefuncties overwegend aan vrouwelijke gebruikers getoond (86% in 2022 en 97% in 2023), terwijl vacatures voor monteurs voornamelijk een mannelijk publiek bereikten (96% in zowel 2022 als 2023). De vacature voor basisschooldocent vertoonde de minste differentiatie (93% vrouwelijke gebruikers in 2022 en 85% in 2023). De verzoekers stelden dat deze praktijk stereotypen in stand houdt en leidt tot discriminatie op grond van geslacht.

Het College stelde vast dat Facebook een dienst verleende door het plaatsen van de advertenties. Bij het aanbieden van dergelijke diensten mag geen onrechtmatig onderscheid worden gemaakt op grond van geslacht. Er zijn twee vormen van onderscheid, direct en indirect onderscheid. Bij direct onderscheid wordt onderscheid gemaakt op grond van geslacht (of een ander beschermd kenmerk). Dit is slechts in zeer beperkte gevallen toegestaan (zoals bij het zoeken naar een acteur voor een bepaalde rol). Indirect onderscheid daarentegen maakt gebruik van een ogenschijnlijk neutrale bepaling, waarbij een bepaalde groep harder wordt getroffen. Zo is het verbieden van hoofddeksels een neutrale maatregel, daarentegen raakt deze wel bepaalde religieuze groepen harder. Deze vorm van onderscheid is enkel toegestaan wanneer een maatregel een legitiem doel dient. Deze uitzondering is breder toepasbaar dan de uitzonderingen voor direct onderscheid. De eerste vraag voor het College was daarom of het ging om direct of indirect onderscheid.

Onderscheid

Het College stelde vast dat de uitkomsten van het onderzoek van de verzoekers het vermoeden opwekten dat er sprake was van onderscheid op basis van geslacht. Meta heeft wegens concurrentieredenen het algoritme niet gedeeld met het College. Wel stelde Meta dat geslacht geen beslissingsfactor was, maar dat de advertentieweergave voornamelijk werd bepaald door klikgedrag. Het College ging mee in het verweer van Meta. Het College besloot dat de criteria gebruikt door het algoritme dynamisch zijn en gender niet altijd een meegewogen factor was. Het klik-gedrag van de gebruikers speelde immers ook een rol in het bepalen van de plaatsing van de advertenties. Volgens het College was er daarom geen sprake van direct onderscheid. Deze argumentatie is enigszins merkwaardig.

Veelal geeft het College aan dat het niet delen van het algoritme, het bewijsrisico van Meta is. Hierin lijkt het College echter aan te nemen van Meta dat het algoritme niet altijd gender meeneemt in de beslissing. De beoordeling van het College past niet bij het functioneren van complexe algoritmes. Het algoritme gebruikt in Facebook is niet bekend, maar het is waarschijnlijk dat het gaat om een complex neural network algoritme. Deze algoritmes nemen meerdere criteria mee om tot een uitkomst te komen (zie schema). Het relatieve belang (ook wel gewicht) van de verschillende criteria is afhankelijk van de input. Alle criteria spelen niettemin een rol. Wel kan worden betoogd dat het belang van het criterium gender mogelijk neutraal is geweest. Gelet op de uitkomsten van het onderzoek, is het onwaarschijnlijk dat gender als criterium neutraal is geweest. Meer waarschijnlijk is dat gender een criterium is geweest met een zwaarder gewicht ten opzichte van andere criteria.

Het College besloot dat het klikgedrag van de consument wel een eenzijdig beeld kan opleveren, zo bleek immers uit de resultaten. Het College stelde daarom dat er sprake was van indirect onderscheid. Hier laat het College weer een belangrijke vraag liggen. Het College neemt aan dat klikgedrag neutraal is. De vraag is echter in hoeverre klikgedrag neutraal is. Klikgedrag omvat bijvoorbeeld recente aankopen. Aankopen kunnen redelijk neutraal zijn zoals groente. Aankopen kunnen daarentegen ook zijn damesschoenen, maandverband en damesondergoed. In theorie kunnen deze items door alle geslachten worden gekocht. Statistisch gezien is de aankoop van de combinatie van deze producten door mannen wel erg klein. Gelet op de hoeveelheid van data die een sociale mediaplatform over personen verzamelt, is het de vraag in hoeverre nog van “neutraal” kan worden gesproken. Een vraag waar door het College onterecht niet op ingegaan wordt.

Rechtmatigheid van indirect onderscheid

Indirect onderscheid is alleen rechtmatig wanneer deze een legitiem doel heeft, de maatregel het doel kan bereiken en proportioneel is. Het College oordeelde dat Meta’s doel – het genereren van hoge advertentie-inkomsten – legitiem en niet-discriminerend was. Het College stelde ook dat het algoritme effectief was in het bereiken van dit doel. Dit oordeel baseerde het College op een aanname van effectiviteit. Algoritmes kunnen effectief advertentieplaatsen verdelen. Niet elk algoritme is echter effectief in het bereiken van dit doel. Het College nam aan dat het algoritme gebruikt door Meta, effectief is in het bereiken van het doel zonder verdere gegevens, zoals klik- of conversieratio’s. Dit terwijl in andere zaken het College wel beoordeelt of de maatregel in kwestie wel het doel kan bereiken.

Het College concludeerde uiteindelijk dat Meta onvoldoende maatregelen had genomen om onbedoelde discriminerende neveneffecten te neutraliseren. Hierdoor werd het algoritme als disproportioneel en dus onrechtmatig beschouwd. Hoewel de uitspraken van het College niet bindend zijn, worden ze over het algemeen gerespecteerd.

Algemene implicaties

Deze uitspraak heeft interessante implicaties voor het beoordelen van algoritmes ingezet door sociale media. Het College heeft een stap gezet in het verantwoordelijk houden van de algoritmes van sociale media. Interessant genoeg hebben partijen dit gedaan onder (van oorsprong EU) gelijkheidswetgeving en niet via de AI-Act of Digitale Services Act (DSA) van de EU.

De DSA verordening richt zich specifiek op online platformen waaronder, sociale mediaplatformen. De DSA heeft onder andere het bewaken van grondrechten op digitale platformen als doelstelling. De verplichtingen voor platformen binnen de verordening zijn nochtans beperkt. Zo is er geen monitorverplichting opgenomen voor platformen met betrekking tot de inhoud. Ook hoeft een platform enkel illegale content te verwijderen wanneer zij hier van op de hoogte is. Het is lastig om op basis van deze verplichtingen een algoritme te beoordelen. Immers selecteert het algoritme de content, maar vormt het sensu stricto geen content an sich.

Naast de DSA leent deze zaak zich voor een evaluatie van het algoritme op basis van de AI Act. Deze verordening was echter nog niet van toepassing op het moment van het tonen van de vacatures. Wel biedt deze zaak handvatten voor de interpretatie van subliminal AI, een definitie die momenteel nog onduidelijk is. De AI Act kent een verbod op de inzet van misleidende subliminal AI. Het argument kan worden gemaakt dat een algoritme dat gebruikers op basis van geslacht vacatures laat zien, de indruk opwekt bij de gebruiker dat dit de enige vacatures zijn. Dergelijke argumentatie is, helaas, nog verre van evident.

Op basis van gelijke behandelingswetgeving biedt deze uitspraak daarentegen kansen op meer verplichtingen voor sociale media. Een interessante is het geval van “X” (voorheen Twitter) dat sinds de overname door Musk een stevige draai naar rechts heeft gemaakt. Het algoritme lijkt extreemrechts gedachtegoed te promoten. Een interessante vraag is hoe de wetgever kan verbieden dat een algoritme bewust mening van vrouwen en minderheden, minder of nauwelijks toont. Hoewel deze zaak aanleiding geeft om hoopvol te zijn, dat dergelijke algoritmes onder gelijkheidswetgeving verboden worden, bestaan er nog enige juridische hordes.

Zo moet een rechter dan besluiten dat ook het aanbieden van sociale media en het voorselecteren van de informatie getoond op de tijdslijn van gebruikers, als “dienst” kwalificeert in de zin van de Awgb. In het geval van Meta besloot dat het College dat Facebook een dienst aanbood aan verzoekers door het aanbieden van vacatures. Om het algoritme te beoordelen dat een tijdslijn beheert, zal het platform ook moeten kwalificeren als aanbieder van een dienst aan de gebruiker. Deze horde lijkt echter niet onoverwinnelijk.