Een Frans algoritme dat een risicoscore toekent voor ontvangers van kinderbijslag en huurtoeslag discrimineert en moet meteen uit. Dat vindt Amnesty International, die een klacht indiende.
Op 15 oktober diende Amnesty International een klacht in bij de Franse evenknie van de Raad van State. Samen met veertien andere organisaties deden ze dat onder de paraplu van de Franse digitale burgerrechtenorganisatie La Quadrature du Net. De eis die op tafel ligt is het onmiddellijk stoppen van het algoritme bij het Caisse Nationale des Allocations Familiales (CNAF), dat risicobeoordelingen daarmee uitvoert. Het schendt de privacy en wijst steeds in de richting van bepaalde groepen terwijl dat vaak onterecht is. Discriminatie en willekeur dus, en daarbij wijst de mensenrechtenorganisatie als voorbeeld de vinger naar Nederland.
Systeem is al sinds 2010 in gebruik
In Frankrijk hebben 32 miljoen mensen één of meerdere toeslagen. Het CNAF keert ze uit en sinds 2010 gaat dat vaak vooraf aan een risicoanalyse via een algoritme. Net als destijds bij de kinderopvangtoeslag kent het algoritme risicoscores toe. Dat gebeurt vooral bij ontvangers van kinderbijslag en huurtoeslag. De score kan in het Franse systeem tussen de nul en de één zijn. Hoe dichter je bij de één scoort, hoe groter volgens het algoritme de kans is dat je fraudeert en huishouden dus te maken krijgt met controles op fraude.
Volgens de klagers ging het al vanaf het begin fout. Mensen met een beperking, alleenstaande moeders en mensen die onder de armoedegrens moeten leven krijgen namelijk stelselmatig het vaakst te maken met controleurs. Volgens Amnesty worden daarmee de mensenrechten geschonden. Bovendien schendt het nog een aantal rechten: die op gelijkheid en non-discriminatie en op privacy.
La Quadrature du Net ontdekte de werkwijze doordat ze de hand wisten te leggen op de broncode van het gewraakte algoritme. Daarmee konden ze bewijzen dat het systeem discrimineert. Toen bleek dat de berekening van de risicoscore leunt op zaken als een laag inkomen hebben of werkloos zijn, of je in een achterstandswijk woont, hoeveel van je inkomen op gaat aan de huur en of iemand met een beperking wel of niet werkt. De gegevens van mensen die daar met een hoge score uitkomen, gaan een op een naar de fraudeonderzoekers. Daar lijkt veel te weinig filter tussen te zitten.
Franse staat verzamelt veel teveel gegevens
Amnesty International en de andere procederende organisaties vinden dat de Franse staat veel teveel gegevens verzamelt voor wat het zou moeten onderzoeken. De groep haalt onder andere de missers in Nederland aan die aantonen dat het doel de middelen niet heiligt en ook nog veel schade en te weinig echte resultaten oplevert.
Het gebruik van algoritmes in Frankrijk is intussen al wel wijdverbreid. Het land wil zichzelf profileren als de grootste Europese ‘hub’ voor AI. Daarom ook vindt in februari volgens jaar in dat land de Artificial Intelligence Action Summit in dat land plaats. Dit is het vervolg op eerdere AI-toppen in het Verenigd Koninkrijk en Zuid-Korea.
Of er tegen die tijd al iets op tafel ligt rond de aanklacht tegen het CNAF is nog niet duidelijk. De ervaring leert in elk geval dat dit soort zaken lang kan duren.
Tip:
- Amnesty: Algoritmes Facebook verergerde Rohingyahaat