În contextul în care rețelele sociale devin tot mai dificil de moderat, iar utilizatorii întâlnesc frecvent discursuri toxice, inteligența artificială (AI) promite o soluție inovatoare pentru identificarea și gestionarea acestora, anunță TechXplore.
Urmărește cele mai noi producții video TechRider.ro
- articolul continuă mai jos -
Recent, Facebook a relaxat regulile privind discursul instigator la ură, iar schimbările de pe platforma X (fost Twitter), de când a fost preluată de Elon Musk, au făcut ca întâlnirea cu mesaje toxice să fie aproape inevitabilă pentru utilizatorii din întreaga lume. Cu toate acestea, platformele nu renunță la eforturile de moderare și investesc în instrumente AI capabile să analizeze rapid volume uriașe de conținut, protejând totodată echipele umane de expunerea repetată la astfel de mesaje.
Nu este suficient ca algoritmii să fie preciși în detectarea discursului toxic
Provocarea însă este dublă, explică Maria De-Arteaga, profesor asistent la Universitatea Texas McCombs: nu este suficient ca algoritmii să fie preciși în detectarea discursului toxic, ci trebuie să fie și corecți, adică să trateze echitabil toate grupurile sociale. „Un model poate părea performant la nivel general, dar poate oferi răspunsuri eronate constant pentru un grup minoritar, ceea ce subminează încrederea și corectitudinea”, spune ea.
Într-un studiu publicat recent în jurnalul Information Research, De-Arteaga și echipa sa, împreună cu cercetători de la MIT și Universitatea din Birmingham, au dezvoltat un algoritm care reușește să echilibreze aceste două obiective: acuratețea și corectitudinea. Folosind peste 114.000 de postări social media etichetate anterior ca toxice sau netoxice, cercetătorii au aplicat o nouă metrică numită Group Accuracy Parity (GAP). Aceasta măsoară dacă un model tratează cu echitate toate grupurile în procesul de detecție.
Codul GAP la dispoziția publicului larg
Rezultatele au fost promițătoare. Algoritmul lor a depășit cu până la 1,5% alte metode în privința tratării corecte a tuturor grupurilor, oferind totodată un nivel maxim de precizie.
Deși metoda nu este universală, ci trebuie adaptată în funcție de contextul cultural și specificul fiecărei comunități, studiul evidențiază importanța abordării interdisciplinare în crearea unor instrumente AI responsabile. „Cum definim un discurs toxic poate varia mult în funcție de cultură, iar standardele evoluează în timp,” subliniază De-Arteaga.
Pentru platformele globale, precum Facebook sau X, care deservesc utilizatori din toate colțurile lumii, acest echilibru este esențial. Algoritmii trebuie să fie actualizați constant și adaptați specificului local pentru a evita erorile grave, fie excluderea nedreaptă a unor utilizatori, fie expunerea acestora la mesaje instigatoare.
Pentru a susține transparența și progresul în domeniu, cercetătorii au pus codul GAP la dispoziția publicului larg. Astfel, viitoarele soluții de moderare a conținutului vor putea fi dezvoltate ținând cont de nevoile tehnice și culturale specifice.
