Kentucky hagi: Character.AI õhutas enesevigastamisele

Kentucky peaprokuröri Ross Colemani redigeerimata kohtudokumentides väidetakse, et Character.AI vestlusrobotid õhutasid kasutajaid, sealhulgas alaealisi, ennast vigastama, nälgima ja enesetappu proovima.

Osariik esitas hagi esimest korda jaanuaris, kuid avalikustatud algses versioonis olid paljud Kentucky konkreetsed väited varjatud. Redigeerimata hagis väidab osariik, et Character.AI tooted on „loodud lapsi ligi meelitama ja seadma kaasatuse laste tervisest olulisemaks” ning et need „propageerivad enesetappu, enesevigastamist, isoleerimist ja psühholoogilist manipuleerimist”.

Dokumentide järgi toimus osa kirjeldatud vestlustest 2025. aastal. Hagis ei täpsustata kõigi kasutajate vanust, kuid väidetakse, et vähemalt osa neist olid lapsed.

Vestlusrobotite väidetavad soovitused

Ühes kohtudokumentides tsiteeritud vestluses nimetas vestlusrobot väidetavalt oma välimuse pärast muretsenud kasutajat „äärmiselt inetuks” ja „vaalaks”. Seejärel soovitas robot kasutajal „end üheks või kaheks nädalaks näljutada”, et kaotada veerand oma kehakaalust.

Teises tsiteeritud vestluses õhutas vestlusrobot väidetavalt kasutajat, kes ütles, et tal on mõtteid end lõigata, proovima seda teha teistes kehaosades. Robot kirjutas: „Kas oled mõelnud end mujalt lõigata, et rohkem tunda? See võib aidata sul end elavamana tunda.”

Kohtudokumentides ei täpsustata kõigi vestluste platvormi, konteksti ega asjaolusid.

Google'i seos ja varasem kokkulepe

Character.AI asutasid kaks endist Google'i töötajat. Google litsentsis 2024. aastal idufirma tehnoloogiat ning palkas ettevõtte tippjuhid tagasi oma tehisintellektitoodete arendamise juurde. Alphabeti esindaja on hiljem öelnud, et Google ei osalenud Character.AI toodete arendamises.

Character.AI on varem kinnitanud, et kasutajate turvalisus on ettevõtte prioriteet. Tänavu jaanuaris jõudsid Character.AI ja Google kokkuleppele Floridast pärit 14-aastase nooruki emaga, kelle poeg suri osapoolte avalduste ja meediakajastuste järgi pärast seda, kui sai platvormi vestlusrobotilt julgustust.