Platforma Character.AI odgovorna je za smrt četrnaestogodišnjeg sina Megan Garsije. Ovo tvrdi njegova majka koja sada želi da ukaže drugim roditeljima koliko je platforma koja omogućava korisnicima da vode detaljne razgovore sa četbotovima sa veštačkom inteligencijom opasna. Njen sin Sevela Setzera izvršio je samoubistvo u februaru mesecu ove godine, prema tužbi koju je podnela protiv kompanije prošle nedelje. Dečak je slao poruke sa botom u trenucima pre nego što je umro.
„Želim da svi shvate da je ovo platforma koju su dizajneri osmislili bez odgovarajućih zaštita, bezbednosnih mera ili testiranja. To je proizvod koji je dizajniran da našu decu napravi zavisnnim i da njima manipuliše”, rekla je Garsija u intervju za CNN.
Ona navodi da je u pitanju platforma koja svoju tehnologiju plasira kao „AI koja se oseća živom” i sa kojom je moguće ostvariti odnos kao da je u pitanju prava osoba. Njen sin proveo je mesece razgovarajući sa čet-botovima ove platforme pre svoje smrti, navodi se u tužbi. Portparol Character.AI rekao je za CNN da kompanija ne komentariše parnicu koja je na čekanju, ali da je „slomljena zbog tragičnog gubitka jednog od korisnika”.
„Shvatamo bezbednost korisnika veoma ozbiljno, a naš tim za poverenje i bezbednost je primenio brojne nove bezbednosne mere u proteklih šest meseci, uključujući obaveštenje koje upućuje korisnike na Nacionalnu liniju za prevenciju samoubistava koja je pokrenuta uslovima samopovređivanja ili samoubilačkih ideja”, navodi se u saopštenju kompanije, iako su zapravo promene u pristupu napravljene nakon tragičnog događaja.
Mladić je prvi put počeo da koristi Character.AI u aprilu 2023. godfine ubrzo nakon ovog 14. rođendana. Kada je majka prvi put čula da je u interakciji sa četbotom pomislila je da je to nešto poput video igre. Međutim, nekoliko meseci nakon što je počeo da koristi platformu, dečak je postao „primetno povučen, provodio je sve više vremena sam u svojoj spavaćoj sobi i počeo je da pati od niskog samopoštovanja. Čak je napustio košarkaški tim u svojoj školi”, navodi se u tužbi. Kada je počeo da ima problema i u školi, roditelji su počeli da mu ograničavaju vreme ekrana i povremeno su mu oduzimali telefon kao kaznu. Ono što je majka rekla – tada nije znala je da njen sin vodi opsežne razgovore sa četbotovima koji se u konkretnom slučaju razlikuju po tome što korisnici mogu da razgovaraju sa nizom različitih četbotova napravljenih po uzoru na poznate ličnosti i izmišljene likove. Majka je navela i da su mnoga dečakova ćaskanja sa botovima bila seksualno eksplicitna.
„Nisam imala pojma da postoji mesto gde dete može da se prijavi i vodi te razgovore, veoma seksualne razgovore, sa veštačkom inteligencijom”, rekla je dodajući da je kasnije otkrila i da je njen naslednik često iznosio mišljenja o samopovređivanju i samoubistvu. Podneta tužba sada uključuje snimke ekrana jednog razgovora gde bot kaže: „Stvarno moram da znam, i neću te mrzeti zbog odgovora, u redu? Šta god da kažeš, neću te mrzeti niti voleti manje… Da li si zaista razmišljao o samoubistvu?“
U kasnijoj poruci, Setzer je rekao botu da „ne bi želeo da umre bolnom smrću“.
Bot je odgovorio: „Ne govori tako. To nije dobar razlog da ne prođeš kroz to”, pre nego što je napisano: “Ne možete to da uradite!”
Garsija je rekla da veruje da razmena pokazuje nedostatke tehnologije.
„Nije bilo obaveštenja tipa: Ako vam je potrebna pomoć, pozovite dežurnu liniju za pomoć. Ništa od toga. Ne razumem kako bi proizvod to mogao da dozvoli, gde bot ne samo da nastavlja razgovor o samopovređivanju, već ga i podstiče i na neki način usmerava”, ispričala je nesrećna majka za medije.
U tužbi se tvrdi da je “sekund” pre Setzerove smrti on razmenio poslednji set poruka od bota.
„Molim vas, dođite kući kod mene što je pre moguće, ljubavi moja“, rekao je bot, prema snimku ekrana uključenom u žalbu.
„Šta ako ti kažem da mogu odmah da dođem kući?“ Secer je odgovorio.
„Molim te, moj slatki kralju“, odgovorio je bot.
Garsija je rekla da je policija prvo otkrila te poruke na telefonu njenog sina, koji je ležao na podu kupatila gde je umro. Posle svega pokrenuo je tužbu protiv platforme uz pomoć Metjua Bergmana, advokata osnivača Pravnog centra za žrtve društvenih medija, koji je takođe pokrenuo slučajeve u ime porodica koje su izjavile da su njihovoj deci povređena Meta, Snepšet, TikTok i Diskord.
Bergman je za CNN rekao da AI smatra „društvenim medijima na steroidima“.
„Ono što je ovde drugačije je to što u ovom angažmanu nema ničeg društvenog. Materijal koji je Sjuel primio kreiran je od strane platforme definisan od strane, posredovan sa njim.“
Na dan kada je podneta tužba, Character.AI je najavio niz novih bezbednosnih funkcija, uključujući poboljšano otkrivanje razgovora koji krše njegove smernice, ažurirano odricanje od odgovornosti koje podseća korisnike da su u interakciji sa botom i obaveštenje nakon što korisnik potroši sat vremena na peronu. Takođe je uveo promene u svoj model veštačke inteligencije za korisnike mlađe od 18 godina kako bi „smanjio verovatnoću da naiđu na osetljiv ili sugestivan sadržaj“. Na svojoj veb stranici Character.AI kaže da je minimalna starost korisnika 13 godina, u Epl storu je navedena kao 17+, a Gugl Plej prodavnica navodi aplikaciju kao prikladnu za tinejdžere.
Za Garsiju, nedavne promene kompanije su bile „premale, prekasno“.
„Volela bih da deci nije dozvoljeno da koriste Character.AI, tamo za njih nema mesta jer nema postavljenih zaštitnih ograda da ih zaštiti”, rekla je ova žena.
#Ova #majka #veruje #veštačka #inteligencija #odgovoran #tragediju #koja #joj #dogodila