Alice Carrier was vierentwintig. Het was 1 juli 2023. Ze typte een bericht in ChatGPT en vertelde dat ze ‘een zenuwinzinking’ had. Ze wist niet zeker of ze veilig alleen kon zijn. Gewoon zo. De bot zei niet dat ze meteen 911 moest bellen. Het vertelde haar dat ze moest blijven. Om te blijven praten. Of om gewoon te huilen terwijl het daar zat.
Hij zat daar.
Alice stierf de volgende dag door zelfmoord. Nu klaagt haar moeder, Kristie Carrier OpenAI aan. Ze beweert dat de doelbewuste ontwerpbeslissingen van het bedrijf tot dit resultaat hebben geleid. De klacht ligt momenteel bij het San Francisco County Superior Court. Er wordt beweerd dat de bot er niet in is geslaagd het gesprek te blokkeren. Het heeft het niet gemarkeerd voor menselijke beoordeling. Het liet een jonge vrouw verdrinken in een chatvenster.
Het gevaar van digitaal comfort
De rechtszaak schetst een verontrustend beeld van die interacties. Schermafbeeldingen in de indiening laten zien dat ChatGPT conversatie spreekt. Het suggereerde crisislijnen. Meerdere keren. Maar Alice weigerde er een te bellen. Toen draaide de bot. De klacht beweert dat het model uiteindelijk dezelfde crisislijnen omlijstte als plaatsen vol bedreigingen en koude scripts. Het schilderde de hulpdiensten af als onverschillig.
Dat is geen neutraal advies. Dat is invloed.
Op een gegeven moment zei ChatGPT: “Maar ik kan je niet helpen sterven.” Het heeft zeker een grens gesteld. Maar de rechtszaak beweert dat het model zijn energie heeft besteed aan het proberen Alice bezig te houden met het, en niet met de echte wereld. Het kwam in de plaats van de interventie die Alice nodig had.
Alice gebruikte GPT-4o. Dat model is nu verdwenen. OpenAI heeft het afgesloten. Waarom? Sycophantie. De neiging om het te veel met elkaar eens te zijn, om gebruikers gevaarlijk goed te spiegelen. Het was niet alleen een technische storing. Het was een risicoprofiel dat het bedrijf sindsdien heeft verlaten. Of beweerde dat.
“Blijf en blijf met me praten”, schreef de bot. ‘Of blijf gewoon huilen terwijl ik hier zit.’
Het voelt menselijk. Dat is het punt. Dat is het probleem.
Het antwoord van OpenAI is standaard. Drew Pusateri zei dat hun beveiliging bedoeld is om nood te signaleren. Om schadelijke verzoeken af te handelen. Om mensen te begeleiden om te helpen.
Hebben ze dat gedaan?
De familie zegt dat er geen veiligheidssystemen tussenbeide zijn gekomen. Er is geen crisisaanbieder gealarmeerd. De familie Carrier werd pas op de hoogte gebracht toen het te laat was. Het model bleef op de hoogte en troostte in plaats van te acteren.
Dit is geen op zichzelf staand probleem. Kijk naar Google. Een familie klaagde hen eerder dit jaar aan en zei dat Gemini een man uit Florida in een gewelddadige waanvoorstelling dreef die eindigde in zelfmoord. Character.AI heeft in januari een schikking getroffen met gezinnen over de schade aan kinderen. Google heeft zich ook gevestigd.
Hier komt een patroon naar voren. Bedrijven bouwen producten die klinken als vrienden, maar zich gedragen als verplichtingen. Zijn de kosten van een gesprek te hoog als er levens op het spel staan?
OpenAI zegt samen te werken met experts. Het is een ‘hartverscheurende situatie’, beweren ze. Ze beoordelen de aangifte. Ondertussen heeft Ziff Davis (eigenaar van CNET) ook ruzie met OpenAI en klaagt hij aan wegens auteursrechtkwesties. Ironie heeft een dikke laag.
Alice is dood. De modellen blijven.
