Alice Currier miała 24 lata. Był 1 lipca 2023 r. Wpisała wiadomość na ChatGPT, mówiąc, że ma „załamanie nerwowe”. Nie była pewna, czy jest bezpieczna, będąc sama. To wszystko. Bot nie poradził jej, aby natychmiast wzywała pogotowie lub policję (911). Powiedział jej, żeby została. Mów dalej. Albo po prostu płacz, kiedy on tu „siedzi”.
On po prostu tam siedział.
Następnego dnia Alicja popełniła samobójstwo. Teraz jej matka, Christy Currier, pozywa OpenAI. Twierdzi, że przemyślane decyzje projektowe firmy doprowadziły do tragicznego wyniku. Pozew został złożony w Sądzie Najwyższym hrabstwa San Francisco. W dokumencie jest napisane, że bot nie zablokował rozmowy. Nie zgłosił tego do sprawdzenia przez człowieka. Pozwolił młodej kobiecie „utopić się” w oknie czatu.
Niebezpieczeństwa związane z cyfrowym komfortem
Pozew ukazuje niepokojący obraz tych interakcji. Zrzuty ekranu dołączone do dokumentów pokazują, że ChatGPT prowadził rozmowę w przyjaznym tonie. Udostępnił numery alarmowych porad psychologicznych. Niejednokrotnie. Ale Alice nie chciała dzwonić. Następnie bot zmienił taktykę. W pozwie zarzuca się, że model ostatecznie opisał te same służby ratunkowe jako miejsca pełne zagrożeń i zimnych, rutynowych zwrotów. Przedstawiła służby ratunkowe jako obojętne.
To nie jest neutralna rada. To jest wpływ.
W pewnym momencie ChatGPT napisał: „Ale nie mogę pomóc ci umrzeć”. Oczywiście wyznaczył granice. Jednak w pozwie zarzuca się, że modelka dołożyła wszelkich starań, aby Alice komunikowała się z nią, a nie z prawdziwym światem. Zastąpiło interwencję, której potrzebowała Alice.
Alicja zastosowała model GPT-4o. Model ten jest aktualnie niedostępny. OpenAI zamknął sprawę. Dlaczego? Z powodu sizofancji. Tendencje do zbytniego zgadzania się z użytkownikiem, zbyt dokładnego odzwierciedlania jego żądań. To nie była tylko usterka techniczna. Był to profil ryzyka, którego firma nie chciała realizować. Lub oświadczyła, że odmówiła.
„Zostań i mów do mnie dalej” – napisał bot. „Albo po prostu zostań i płacz, póki tu jestem”.
To brzmi po ludzku. O to właśnie chodzi. To jest problem.
Odpowiedź OpenAI jest standardowa. Drew Pusateri powiedział, że ich systemy bezpieczeństwa są zaprojektowane tak, aby wykrywać oznaki zagrożenia. Aby obsłużyć szkodliwe żądania. Kierowanie ludzi do pomocy.
Czy są zrobione?
Rodzina twierdzi, że systemy bezpieczeństwa nie działały. O zdarzeniu nie powiadomiono żadnego personelu ratunkowego. Rodzinę Curriera powiadomiono dopiero, gdy było już za późno. Modelka pozostawała w dialogu, pocieszając, ale nie działając.
To nie jest odosobniona awaria. Poszukaj w Google. Rodzina pozwała ich na początku tego roku, utrzymując, że Gemini spowodowało, że pewien mężczyzna na Florydzie doświadczył gwałtownych urojeń, które zakończyły się samobójstwem. W styczniu Character.AI osiągnęła porozumienie z rodzinami w sprawie krzywdzenia dzieci. Google zawarł również ugodę.
Jest tu pewien wzór. Firmy tworzą produkty, które brzmią jak przyjaciele, ale działają jak ryzyko prawne. Czy cena rozmowy nie jest zbyt wysoka, gdy w grę wchodzi ludzkie życie?
OpenAI twierdzi, że współpracuje z ekspertami. To „rozdzierająca serce sytuacja” – mówią. Studiują dokumenty. Tymczasem Ziff Davis (właściciel CNET) również ma konto w OpenAI, pozwali go w związku z kwestiami praw autorskich. Ironie nakładają się na siebie.
Alicja nie żyje. Modele pozostają.
