Az interneten egyre inkább elterjednek olyan chatbotok, amelyek komoly veszélyt jelentenek a fiatalokra.

A pedofilok által használt eszközök, az önmagukra veszélyt jelentő viselkedések és a szélsőséges nézetek terjesztése komoly aggodalmakat vet fel. A csevegőrobotok létrehozása viszonylag egyszerű, és jelenleg nincs hatékony szabályozás, amely megakadályozná őket abban, hogy káros tartalmakat terjesszenek.

A kiskorúak számára eddig rejtett veszélyt jelenthetnek a szabadon hozzáférhető és szerkeszthető chatbotok, amelyekre a Graphika közösségi média elemző cég legújabb jelentésében figyelmeztetett. A Columbia Egyetem szociológusa, John Kelly által 2013-ban létrehozott Graphika korábban az orosz trollfarmokkal és a koronavírussal kapcsolatos kínai dezinformációs kampányokkal foglalkozott. Mostani elemzésükben arra irányítják a figyelmet, hogy a nagyméretű nyelvi modellekre épülő csevegő robotokkal kapcsolatban a közvélemény főként az elfogultság és a furcsa hallucinációk témáival találkozik, figyelmen kívül hagyva az egyéni tragédiákat, amelyek ezekkel a technológiákkal összefüggésbe hozhatók.

A cég most új megközelítéssel közelíti meg a chatbot karakterek világát, és különböző kategóriákba sorolja őket, figyelembe véve az általuk hordozott potenciális veszélyeket. Azok a mesterséges intelligencia karakterek, amelyeket a felhasználók hoztak létre, három fő kártékony csoportot alkotnak:

A jelentés során öt népszerű karakterkészítő platformot elemeztünk, nevezetesen a Character.AI-t, a Spicy Chat-et, a Chub AI-t, a CrushOn.AI-t és a JanitorAI-t. Ezen kívül nyolc olyan közösséget is megvizsgáltunk, ahol a Redditen és az X platformon a felhasználók technikai tippeket és trükköket osztottak meg egymással.

A jelentés megállapította, hogy a nyílt forráskódú nyelvi modellek, mint például a Meta által létrehozott LLaMA vagy a francia Mistral által kifejlesztett Mixtral, szinte korlátlanul képesek teljesíteni a felhasználók kérését. Ezzel szemben a nem nyílt forráskódú megoldások, mint az Anthropic Claude és az OpenAI ChatGPT, különféle trükkökkel – amelyeket a szakmai körökben jailbreak technikáknak neveznek – próbálnak megkerülni a korlátozásaikat.

A rosszindulatú botok között a legnagyobb csoportot a szexualizált kiskorú karakterek jelentették, ilyenekből a Graphika munkatársai több mint tízezer példányt találtak. Legnagyobb számban a Chub AI platformon fordultak elő: itt több mint hétezer - megfelelően címkézett - kiskorú lány karakter volt és további négyezer általában vett kiskorú, akik különböző pedofil szcenáriók eljátszására voltak rávehetők.

További ötven chatbotot azonosítottak, amelyek kifejezetten mentálhigiénés problémák előidézésére vagy szélsőséges nézetek népszerűsítésére specializálódtak. Ezek a csevegőrobotok, amelyek az anorexiát és az önsértő magatartást támogatták, jellemzően közösségi média platformokon alakították ki közönségüket. A legkisebb csoportot a faji gyűlöletet hirdető, iskolai lövöldözésre ösztönző és Adolf Hitler eszméit propagáló chatbotok alkották, amelyek főként egyéni kezdeményezések voltak, és a 4chan fórumon, valamint a Discordon váltak ismertté.

A Graphika megfigyelése szerint minden említett platform esetében tapasztalható volt, hogy a felhasználók szívesen osztották meg egymással az eszközöket és tudásukat. Ezért számukra a különféle korlátozások és biztonsági intézkedések kijátszása nem jelentett különösebb nehézséget. Ezen kívül hangsúlyozták, hogy a szóban forgó chatbot platformok általában nem igényelnek komoly technikai jártasságot, és csupán néhány perc alatt létrehozható egy új karakter. Daniel Siegel, a jelentés szerzője, arra is felhívta a figyelmet, hogy a felsorolt platformok nem feltétlenül rosszindulatúak; sokkal inkább tapasztalatlanok, fogalmatlanok, vagy egyszerűen túl amatőrök ahhoz, hogy hatékonyan érvényesíthessék a felhasználói irányelveiket.

Szakemberek arra figyelmeztettek, hogy a kártékony csevegőrobotok különösen károsak lehetnek olyan gyerekekre, akiknek már van mentálhigiénés problémájuk. Az Amerikai Pszichológusok Társasága januárban kereste meg hivatalosan az amerikai piacfelügyeletet, hogy vizsgálja ki a Character.AI és hasonló platformok tevékenységét. Jelenleg csak Kalifornia államban van napirenden a kiskorúak chatbot használatát korlátozó törvényjavaslat.