O analiză recentă realizată de Epoch AI, un institut nonprofit de cercetare în domeniul inteligenței artificiale, sugerează că industria AI ar putea ajunge la o limită în ceea ce privește îmbunătățirile semnificative ale modelelor de raționament, începând chiar din următorul an. Potrivit raportului, progresul acestor modele ar putea să încetinească considerabil într-o perioadă relativ scurtă, potrivit TechCrunch.
Urmărește cele mai noi producții video TechRider.ro
- articolul continuă mai jos -
Modelele de raționament, de genul o3 de la OpenAI, au înregistrat câștiguri substanțiale în testele de performanță ale AI în ultimele luni, în special la evaluările care măsoară abilități matematice și de programare.
Aceste modele folosesc puterea de calcul extinsă pentru a rezolva probleme mai complexe, ceea ce îmbunătățește performanțele, dar cu un cost. Acestea necesită mai mult timp decât modelele tradiționale pentru a finaliza sarcinile.
Cum funcționează modelele de raționament? Acestea sunt dezvoltate prin antrenarea unui model convențional pe o cantitate uriașă de date, iar ulterior, se aplică o tehnică numită învățare prin întărire. Aceasta oferă modelului „feedback” asupra soluțiilor sale pentru probleme mai dificile, ajutându-l să își îmbunătățească abilitățile.
Creșterea puterii de calcul în etapa de învățare
Conform analizei Epoch, laboratoarele de vârf, precum OpenAI, nu au aplicat până acum o cantitate uriașă de putere de calcul în etapa de învățare prin întărire a modelului de raționament, dar situația se schimbă rapid.
OpenAI a declarat că a aplicat de aproximativ 10 ori mai multă putere de calcul pentru a antrena o3 față de modelul său anterior, o1. Epoch speculează că o mare parte din această putere de calcul a fost direcționată către învățarea prin întărire.
În ciuda acestor investiții, există încă limite legate de cât de multă putere de calcul poate fi utilizată în această etapă de antrenare. Josh You, analist la Epoch și autor al analizei, explică faptul că îmbunătățirile în performanța modelelor standard de AI sunt de patru ori mai mari în fiecare an, în timp ce progresul modelelor de raționament bazate pe învățarea prin întărire ar putea ajunge la o limită în următorii 3-5 ani.
You estimează că performanța modelelor de raționament va „probabil converge cu frontiera generală a AI până în 2026.”
Provocările suplimentare, costurile ridicate de cercetare
În plus, analiza sugerează că scalarea acestor modele de raționament ar putea întâmpina provocări semnificative, nu doar din cauza puterii de calcul, ci și din cauza costurilor ridicate de cercetare. „Dacă există un cost constant pentru cercetare, modelele de raționament s-ar putea să nu se scaleze așa cum se aștepta”, subliniază You.
Impactul asupra industriei AI
Îngrijorarea în industrie crește, având în vedere investițiile uriașe făcute în dezvoltarea acestor modele. Deja, modelele de raționament, care sunt extrem de costisitoare de operat, au prezentat diverse deficiențe, inclusiv o tendință mai mare de a „halucina” răspunsuri mai puțin precise decât modelele convenționale.
Aceste descoperiri ar putea semnifica o schimbare în abordarea dezvoltării și aplicării modelelor AI de raționament, pe măsură ce industria încearcă să găsească soluții la provocările întâmpinate.
