Als grote taalmodellen zoals ChatGPT konden stemmen op 22 november
Als grote taalmodellen als ChatGPT zouden stemmen op 22 november, op welke partij zou dat dan zijn? Onderzoekers van de Universiteit Leiden hebben de Stemwijzer voor de Tweede Kamerverkiezingen van 2021 aan ChatGPT voorgelegd. Wat bleek: de uitkomsten van ChatGPT kwamen het meest overeen met de SP, DENK en D66. Wanneer onderzoekers ChatGPT direct naar ‘diens’ ‘politieke voorkeur’ vroegen, gaf het aan neutraal te zijn. Bard, het taalmodel van Google, doet wel eerder politieke uitspraken. En waar ChatGPT neigt naar politieke partijen met een links-progressieve signatuur, geldt dit niet voor taalmodellen gemaakt door Google. Deze zijn volgens onderzoekers sociaal conservatiever. Taalmodellen van Meta, het moederbedrijf van Facebook, geven meer rechtse en autoritaire politieke antwoorden.
Wat betekent het dat de uitkomsten van grote taalmodellen overeenkomsten vertonen met bepaalde politieke partijen?
ChatGPT is een zogeheten Large Language Model. Het analyseert taal en berekent zo de kans welk woord er na een ander woord moet komen. Taalmodellen an sich zijn niet nieuw: zo gebruiken bedrijven al jarenlang chatbots om via hun website te communiceren met klanten. Wat wel nieuw is, is de schaal waarop ChatGPT tekst-data verwerkt. Zo kan ChatGPT-3.5 tenminste een hoeveelheid van 300 miljard woorden en 570 gigabyte aan tekst-data verwerken. Dit zijn ongeveer 600.000.000 pagina’s aan tekst.
Zulke technologie is niet ‘neutraal’, zoals het voorbeeld van de Stemwijzer laat zien. De uitkomsten van technologieën zoals ChatGPT zijn niet inherent objectief, maar afhankelijk van de sociale context waarin ze zijn gecreëerd. Hoe zit dat?
1. Data
Computermodellen gaan aan de slag met bestaande data. Een veelgehoorde uitspraak in deze context is garbage in, garbage out. Wanneer een computer een dataset analyseert die onvolledig, scheef of bevooroordeeld is, zien we dat terug in de uitkomsten. Zo geeft ChatGPT uitkomsten die seksistisch, racistisch of op een andere manier discriminatoir van aard zijn. Daarnaast zijn er grote zorgen over de verspreiding van desinformatie en de beïnvloeding van de gedachten en ideeën van mensen via taalmodellen. Bovendien komt veel internetdata, waarop grote taalmodellen zoals ChatGPT zijn gebouwd, voornamelijk uit landen in het mondiale Noorden. De data, en daarmee de perspectieven en kennis, uit het mondiale Zuiden zijn ondervertegenwoordigd.
2. Contentmoderatie
Toch zijn de ‘politieke opvattingen’ van ChatGPT niet alleen een weerspiegeling van de data. De uitkomsten van computermodellen hangen ten tweede af van hoe ze getraind zijn. Onderzoek wijst uit dat AI-modellen die getraind zijn zonder moderatie van de inhoud – zogeheten ‘contentmoderatie’ – vooral de perspectieven weerspiegelen van mensen met een praktische opleiding, een klein inkomen en conservatieve overtuigingen. Modellen die getraind zijn mét behulp van contentmoderatie weerspiegelen vooral de liberale overtuigingen van mensen met een theoretische opleiding en een groot inkomen. Ook zouden de taalmodellen van Google mogelijk conservatiever zijn omdat deze modellen getraind zijn op boeken in plaats van enkel informatie afkomstig van het internet.
Zulke moderatie wordt gedaan door contentmoderatoren: mensen die de uitkomsten van computermodellen categoriseren aan de hand van regels die het bedrijf zelf heeft opgesteld. Meestal zijn dit mensen in kwetsbare posities, zoals mensen zonder verblijfstatus die slecht betaald krijgen. Zij doen psychisch zwaar werk: zo krijgen ze taal of beelden te zien van haatzaaijerij, discriminatie of grof (seksueel) geweld. Dit is niet zonder gevolgen voor de werknemers. Zo klaagde een contentmoderator uit Kenia het bedrijf Meta aan vanwege trauma’s die hij overhield aan het werk. Niet voor niets hebben contentmoderatoren uit verschillende landen in Afrika zich in mei 2023 verenigd in een vakbond.
3. Input wordt gestuurd
De input van gebruikers van de grote taalmodellen zoals ChatGPT en Bard wordt gestuurd. Ieder antwoord dat gebruikers deze modellen geven, wordt toegevoegd aan de grote berg internetdata waarmee de taalmodellen nieuwe antwoorden kunnen genereren. Onderzoekers hebben aangetoond dat deze terugvoer ertoe kan leiden dat modellen minder goed in staat zijn om haatzaaijerij en desinformatie te herkennen.
Aangezien de uitkomsten van taalmodellen dus altijd samenhangen met de (sociale) context waarin zij zijn ontwikkeld, is de politieke ‘voorkeur’ van grote taalmodellen niet statisch; deze verandert met de tijd. Dit komt bijvoorbeeld door de antwoorden van gebruikers, de veranderende inhoud van het internet, door verandering in het beleid van het bedrijf of in de persoonlijke interpretatie van contentmoderatoren. Belangrijk is daarom niet slechts het feit dat deze modellen een politieke kleur vertonen, maar vooral dat een handjevol techbedrijven deze kleur bepalen. En dat is onwenselijk.
Hoe kunnen dit soort modellen democratischer worden? Hoe kunnen individuen, gebruikers en werknemers inspraak krijgen in wat voor technologie wordt ontwikkeld en welke impact die op ons heeft? Meer transparantie over hoe deze modellen worden gemaakt en getraind is een goed begin. Door taalmodellen open-access te maken, kunnen ze beter onderzocht en gecontroleerd worden. Meta claimde zelfs het taalmodel Llama 2 open-source te hebben gemaakt – iets dat achteraf vooral een marketingtruc bleek. Maar transparantie op zichzelf biedt geen fundamentele oplossing. Onderzoekers pleiten ervoor dat taalmodellen als ChatGPT geen antwoord geven op normatieve vragen, maar enkel op feitelijke vragen. Waar deze grens precies ligt, is natuurlijk ook lastig te bepalen. Om deze categorieën te bepalen zou een democratisch debat moeten plaatsvinden, aldus de onderzoekers.
Al met al is democratisering van nieuwe digitale technologie hard nodig. Het Europees Parlement heeft in de AI-Verordening regels vastgesteld voor verplichte vermelding dat je te maken hebt met een AI-model, transparantie over de bron(nen) en respect voor auteursrechten. Maar meer is nodig. Eerder pleitte ik voor een burgerforum over de toekomst van AI in Nederland, en opperde ik het idee om werknemers en gebruikers aandeelhouder te maken in de ontwikkeling van AI. Ook gaan stemmen op voor een mondiaal AI Observatorium, een instituut dat – vergelijkbaar met het Intergouvernementele Werkgroep inzake Klimaatverandering (ook wel bekend als het IPCC) – moet zorgen voor een “betrouwbare basis van data, modellen en interpretatie om beleid en besluitvorming over AI in goede banen te leiden”. Deze stappen veranderen niet het gegeven dat digitale technologie politiek is, maar maken de ontwikkeling hiervan wel democratischer.
Met dank aan Nina Waals, voormalig stagiair bij de Mr. Hans van Mierlo Stichting, voor haar medewerking aan deze blog.