Oamenii au o înțelegere comună, chiar dacă vagă, a termenilor precum „probabil” sau „posibil”. Însă pentru inteligența artificială, aceste cuvinte nu au aceeași semnificație, arată un studiu recent publicat în revista de specialitate NPJ Complexity.
Urmărește cele mai noi producții video TechRider.ro
- articolul continuă mai jos -
Cercetătorii au descoperit că, deși modelele mari de limbaj, precum ChatGPT, excelează în conversații, ele adesea nu se aliniază cu modul în care oamenii comunică incertitudinea. Studiul s-a concentrat pe ceea ce specialiștii numesc „cuvinte de probabilitate estimativă”, care includ termeni precum „poate”, „probabil” sau „aproape sigur”, scrie The Conversation.
Diferențe între oameni și AI
Comparând modul în care AI și oamenii asociază aceste cuvinte cu procente numerice, cercetătorii au identificat diferențe semnificative. În timp ce AI-ul tinde să fie de acord cu oamenii pentru extreme, cum ar fi „imposibil”, divergențele apar în cazul termenilor intermediari. De exemplu, un model poate folosi „probabil” pentru a reprezenta o probabilitate de 80%, în timp ce un om ar înțelege mai degrabă 65%.
Această discrepanță apare pentru că oamenii interpretează astfel de cuvinte în funcție de context și experiențe personale. Modelele AI, însă, învață dintr-o cantitate uriașă de texte, adesea cu utilizări contradictorii ale aceluiași termen, ceea ce duce la diferențe față de interpretarea umană.
Influența limbajului și a genului
Studiul arată că modelele mari de limbaj sunt sensibile la nuanțele limbajului și la modul de formulare a comenzilor. De exemplu, schimbarea unui pronume de la „el” la „ea” poate face ca estimările AI să devină mai rigide, ceea ce reflectă părtiniri din datele de antrenament. De asemenea, schimbarea limbii de la engleză la chineză poate modifica estimările probabilității, probabil din cauza diferențelor culturale și lingvistice în modul de exprimare a incertitudinii.
De ce contează
Această nealiniere nu este doar o ciudățenie lingvistică. Ea reprezintă o provocare majoră pentru siguranța AI și încrederea oamenilor în sistemele inteligente. Pe măsură ce AI-ul este folosit în domenii critice: sănătate, politici publice sau comunicare științifică, modul în care comunică riscul devine esențial.
Dacă un asistent AI spune unui medic că un efect secundar este „puțin probabil”, dar modelul interpretează intern acest termen ca având o probabilitate mult mai mare, deciziile bazate pe această informație pot fi eronate și periculoase.
Studii anterioare și perspective
Oamenii de știință studiază modul în care oamenii cuantifică incertitudinea încă din anii 1960, inițial pentru a îmbunătăți rapoartele de informații ale CIA. În ultimii ani, cercetătorii au început să studieze modelele mari de limbaj pentru a înțelege „comportamentele” și tiparele lor lingvistice.
Studiul recent aduce o perspectivă suplimentară, care tratează interacțiunea om-AI ca un sistem biologic în care sensul poate fi distorsionat. Autorii subliniază că nu este suficient ca AI-ul să fie „inteligent”; el trebuie să fie și „aliniat” cu interpretarea umană.
Alți cercetători explorează tehnici precum „chain-of-thought prompting”, în care AI-ul își arată raționamentul, pentru a corecta erorile. Cu toate acestea, studiul arată că și raționamentele avansate nu garantează întotdeauna concordanța între datele statistice și etichetele verbale.
Următorii pași
Un obiectiv al dezvoltării viitoare a AI este crearea unor modele care nu doar să prezică următorul cuvânt probabil, ci să înțeleagă cu adevărat greutatea incertitudinii pe care o transmit. Cercetătorii solicită metrici de consistență mai robuste, pentru a se asigura că, dacă un model identifică o probabilitate de 10% în date, va alege același termen de fiecare dată.
