Alice Currierové bylo 24 let. Bylo 1. července 2023. Zadala zprávu do ChatGPT, že má „nervové zhroucení“. Nebyla si jistá, zda je pro ni bezpečné být sama. To je vše. Bot jí neporadil, aby okamžitě zavolala záchranku nebo policii (911). Řekl jí, aby zůstala. Mluvte dál. Nebo jen plakat, když tu „sedí“.
Jen tam seděl.
Následujícího dne Alice spáchala sebevraždu. Nyní její matka Christy Currier žaluje OpenAI. Tvrdí, že záměrná rozhodnutí společnosti o designu vedla k tragickému výsledku. Žaloba byla podána u vrchního soudu okresu San Francisco. Dokument říká, že robot neblokoval konverzaci. Nenahlásil to k lidské kontrole. Dovolil mladé ženě, aby se „utopila“ v okně chatu.
Nebezpečí digitálního pohodlí
Žaloba vykresluje znepokojivý obraz těchto interakcí. Screenshoty připojené k dokumentům ukazují, že ChatGPT vedl rozhovor přátelským tónem. Nabídl tísňovou linku psychologické pomoci. Více než jednou. Alice ale odmítla zavolat. Pak bot změnil taktiku. Oblek tvrdí, že model nakonec popsal tytéž pohotovostní služby jako místa plná hrozeb a chladných, otřepaných frází. Záchranné služby vylíčila jako lhostejné.
Toto není neutrální rada. Toto je vliv.
V jednu chvíli ChatGPT napsal: “Ale já vám nemohu pomoci zemřít.” Samozřejmě stanovil hranice. Ale žaloba tvrdí, že modelka věnovala veškeré své úsilí snaze udržet Alici v komunikaci s ní spíše než se skutečným světem. Nahradil zásah, který Alice potřebovala.
Alice použila model GPT-4o. Tento model je momentálně nedostupný. OpenAI to zavřel. Proč? Kvůli sisofantii. Tendence příliš souhlasit s uživatelem, příliš úzce zrcadlit jeho požadavky. Nebyla to jen technická závada. To byl rizikový profil, který společnost od té doby odmítla sledovat. Nebo uvedla, že odmítla.
“Zůstaň a mluv se mnou,” napsal robot. “Nebo jen zůstaň a breč, když jsem tady.”
Zní to lidsky. To je podstata. To je ten problém.
Odpověď OpenAI je standardní. Drew Pusateri řekl, že jejich bezpečnostní systémy jsou navrženy tak, aby detekovaly známky nouze. Ke zpracování škodlivých požadavků. Nasměrovat lidi k pomoci.
Jsou vyrobeny?
Rodina říká, že bezpečnostní systémy nefungovaly. O události nebyl informován žádný záchranářský personál. Currierova rodina nebyla informována, dokud nebylo příliš pozdě. Model zůstal v dialogu, utěšoval, ale nejednal.
Nejedná se o ojedinělé selhání. Podívejte se na Google. Rodina je začátkem tohoto roku zažalovala a tvrdila, že Gemini způsobil, že muž na Floridě zažil násilné přeludy, které skončily sebevraždou. V lednu Character.AI dosáhla urovnání s rodinami ohledně ubližování dětem. Google také uzavřel dohodu o narovnání.
Je zde vzor. Společnosti vytvářejí produkty, které zní jako přátelé, ale působí jako právní riziko. Není cena konverzace příliš vysoká, když jsou v sázce lidské životy?
OpenAI říká, že spolupracuje s odborníky. Je to “srdcervoucí situace”, říkají. Studují dokumenty. Mezitím Ziff Davis (majitel CNET) má také účet u OpenAI, který žaloval kvůli problémům s autorskými právy. Ironie se vrství jedna na druhou.
Alice je mrtvá. Modely zůstávají.
