Cercetătorii de la OpenAI au publicat un studiu care explică de ce ChatGPT și alte modele lingvistice mari sunt predispuse să inventeze informații, fenomen cunoscut în lumea AI sub numele de „halucinație”. Problema, spun autorii, este în mare parte inevitabilă din punct de vedere matematic și nu poate fi eliminată complet pentru utilizatorii obișnuiți, subliniază The Conversation.
Urmărește cele mai noi producții video TechRider.ro
- articolul continuă mai jos -
Potrivit studiului, modul în care aceste AI-uri răspund la întrebări, prin prezicerea unui cuvânt după altul pe baza probabilităților, face ca erorile să se acumuleze, mai ales pentru propoziții complexe.
Chiar dacă datele de antrenament ar fi perfecte, modelele tot ar putea da răspunsuri incorecte. Mai mult, cu cât un fapt apare mai rar în datele de instruire, cu atât AI-ul are mai multe șanse să greșească când este întrebat despre el. În teste, unele modele au oferit chiar trei date de naștere diferite pentru aceeași persoană, toate greșite.
Problema este amplificată de modul în care sunt evaluate modelele
Majoritatea benchmark-urilor folosite de Google, OpenAI și alte companii penalizează AI-ul dacă spune „Nu știu”, tratând acest răspuns la fel ca pe un răspuns greșit. În aceste condiții, strategia optimă pentru AI devine ghicitul, chiar dacă șansele de a răspunde corect sunt mici.
OpenAI propune o soluție. Mai exact, AI-ul ar trebui să evalueze gradul de încredere în răspuns înainte de a-l furniza și să fie evaluat pe această bază. Astfel, ar putea spune „Nu știu” atunci când nu este sigur, ceea ce ar reduce halucinațiile. Problema este însă experiența utilizatorului. Dacă ChatGPT ar recunoaște incertitudinea pentru 30% dintre întrebări, mulți utilizatori obișnuiți cu răspunsuri sigure ar putea renunța rapid la sistem.
Calcularea nivelului de certitudine necesită mult mai multe resurse de procesare
Pe lângă impactul asupra experienței, există și o problemă economică. Calcularea nivelului de certitudine necesită mult mai multe resurse de procesare. Pentru un sistem care gestionează milioane de interacțiuni zilnice, costurile operaționale ar crește semnificativ.
Metodele mai sofisticate, precum întrebările suplimentare pentru clarificare, ar putea îmbunătăți acuratețea, dar ar crește și mai mult consumul de resurse, ceea ce le face nepracticabile pentru aplicațiile de zi cu zi.
Cercetătorii concluzionează că, în prezent, stimulentele economice care ghidează dezvoltarea AI pentru consumatori, răspunsuri rapide și sigure, sunt incompatibile cu reducerea halucinațiilor.
Până când aceste stimulente nu se schimbă, problema va persista, iar utilizatorii vor continua să primească informații inventate, chiar și de la cele mai avansate modele.
