Cercetători de la Universitatea Oxford și Institutul Allen pentru Inteligență Artificială au descoperit că modelele mari de limbaj (LLM), cum este și ChatGPT, funcționează mai degrabă ca oameni decât ca automate gramaticale. Nu aplică reguli abstracte, ci se bazează pe analogii și pe exemplele stocate în „memorie” pentru a construi limbajul, anunță TechXplore.
Urmărește cele mai noi producții video TechRider.ro
- articolul continuă mai jos -
Într-un nou studiu publicat în prestigioasa revistă Proceedings of the National Academy of Sciences (PNAS), cercetătorii arată că modelele de inteligență artificială din clasa LLM (cele care alimentează chatboturi precum ChatGPT) nu urmează reguli gramaticale stricte pentru a genera limbaj, așa cum se credea. În schimb, acționează mult mai asemănător cu mintea umană. El apelează la exemple stocate și fac analogii pentru a decide cum să formeze cuvinte sau propoziții noi.
Această concluzie contrazice ipoteza dominantă în domeniul inteligenței artificiale, potrivit căreia aceste modele învață limba deducând reguli din milioanele de texte cu care sunt antrenate.
De la „happy” la „happiness”… și la „friquishness”?
Pentru a testa cum funcționează acest proces, cercetătorii au creat 200 de adjective inventate în engleză, precum „cormasive” și „friquish”, pe care modelul nu le mai întâlnise niciodată. I-au cerut apoi modelului GPT-J (o versiune open-source a unui LLM) să transforme aceste adjective în substantive, alegând între sufixele „-ness” și „-ity” — așa cum facem cu „happy” → „happiness” sau „available” → „availability”.
Rezultatele au fost comparate cu alegerile făcute de vorbitori umani și cu predicțiile a două modele cognitive consacrate, unul bazat pe reguli, altul pe analogii.
Concluzia? GPT-J a acționat precum un om. Nu a aplicat reguli gramaticale abstracte, ci a ales forma în funcție de asemănarea cu alte cuvinte cunoscute. De exemplu, „friquish” a fost transformat în „friquishness” pentru că seamănă cu „selfish”. „Cormasive”, pe de altă parte, a dus la „cormasivity”, influențat de perechi ca „sensitive”, „sensitivity”.
Memoria, ingredientul secret
Analiza a mers și mai departe, examinând reacțiile modelului la aproape 50.000 de adjective reale. S-a observat că predicțiile lui GPT-J reflectau cu o precizie remarcabilă frecvența cuvintelor în setul său de antrenament. Mai exact, modelul părea să „își amintească” fiecare exemplu văzut în trecut și să ia decizii lingvistice bazându-se pe aceste urme de memorie.
Acest comportament amintește de felul în care oamenii recunosc cuvinte noi: prin analogie cu cele deja cunoscute.
O diferență esențială. Oamenii au un „dicționar mental”
Totuși, cercetarea a evidențiat și o diferență-cheie între oameni și AI. În timp ce vorbitorii umani construiesc o reprezentare mentală a limbii, un „dicționar intern” cu toate formele considerate valide, modelele LLM nu realizează această unificare. Ele tratează fiecare apariție a unui cuvânt ca pe un caz distinct, fără a construi o intrare unică, coerentă, pentru fiecare termen.
„Deși modelele LLM pot genera limbaj într-un mod impresionant, ele nu gândesc la fel de abstract ca oamenii. Acesta este, probabil, și motivul pentru care au nevoie de mult mai multă informație decât oamenii pentru a învăța o limbă”, spune Janet Pierrehumbert, profesoară de modelare lingvistică la Universitatea Oxford și autoare principală a studiului.
Ce urmează? O inteligență artificială mai umană
Valentin Hofman, coautor al studiului și cercetător la Ai2 și Universitatea Washington, subliniază impactul mai larg al rezultatelor:
„Acest studiu este un exemplu excelent de colaborare între lingvistică și inteligență artificială. Înțelegând mai bine cum generează LLM-urile limbaj, putem construi în viitor modele mai robuste, mai eficiente și, mai ales, mai explicabile”.
