Cercetătorii de la MIT au creat un tabel periodic al arhitecturilor LLM care arată cum sunt conectați peste 20 de algoritmi clasici de dezvoltare ai inteligenței artificiale, potrivit TechExplore.
Urmărește cele mai noi producții video TechRider.ro
- articolul continuă mai jos -
Noul cadru scoate la iveală modul în care oamenii de știință ar putea fuziona diverse strategii din diferite metode pentru a îmbunătăți modelele de inteligență artificială existente sau pentru a veni cu altele noi.
Cercetătorii au folosit acest cadru pentru a combina elemente a doi algoritmi diferiți pentru a crea un nou algoritm de clasificare a imaginilor care a avut performanțe cu 8% mai bune decât abordările actuale de ultimă generație.
Tabelul periodic oferă cercetătorilor un set de instrumente pentru a proiecta noi algoritmi
Tabelul periodic pornește de la principala idee conform căreia toți acești algoritmi învață un anumit tip de relație între punctele de date. Deși fiecare algoritm poate realiza acest lucru într-un mod ușor diferit, matematica de bază din spatele fiecărei abordări este aceeași.
Bazându-se pe aceste descoperiri, cercetătorii au identificat o ecuație unificatoare care stă la baza multor algoritmi clasici de inteligență artificială. Au folosit acea ecuație pentru a reformula metodele populare și a le aranja într-un tabel, clasificându-le pe fiecare în funcție de relațiile aproximative pe care le învață.
La fel ca tabelul periodic al elementelor chimice, care inițial conținea câmpuri goale care au fost ulterior completate de oamenii de știință, tabelul periodic al învățării automate are și el spații goale. Aceste spații prezic unde ar trebui să existe algoritmi, dar care nu au fost încă descoperiți.
Tabelul oferă cercetătorilor un set de instrumente pentru a proiecta noi algoritmi fără a fi nevoie să redescopere idei din abordări anterioare, spune Shaden Alshammari, student absolvent la MIT și autor principal al unei lucrări despre acest nou cadru.
„Nu este doar o metaforă”, adaugă Alshammari. „Începem să vedem învățarea automată ca pe un sistem cu o structură care este un spațiu pe care îl putem explora, mai degrabă decât să ne dăm drumul prin el.”
În lucrare, ea este însoțită de John Hershey, cercetător la Google AI Perception; Axel Feldmann, student absolvent la MIT; William Freeman, profesorul Thomas și Gerd Perkins de Inginerie Electrică și Informatică și membru al Laboratorului de Informatică și Inteligență Artificială (CSAIL); și autorul principal Mark Hamilton, student absolvent la MIT și manager senior de inginerie la Microsoft. Cercetarea va fi prezentată la Conferința Internațională privind Reprezentările Învățării.
O descoperire accidentală
Cercetătorii nu și-au propus să creeze un tabel periodic al învățării automate.
După ce s-a alăturat Laboratorului Freeman, Alshammari a început să studieze clusteringul, o tehnică de învățare automată care clasifică imaginile prin învățarea organizării imaginilor similare în clustere apropiate.
Și-a dat seama că algoritmul de clustering pe care îl studia era similar cu un alt algoritm clasic de învățare automată, numit învățare contrastivă, și a început să aprofundeze matematica. Alshammari a descoperit că acești doi algoritmi disparați puteau fi reformulați folosind aceeași ecuație de bază.
„Am ajuns aproape din întâmplare la această ecuație unificatoare. Odată ce Shaden a descoperit că conectează două metode, am început pur și simplu să visăm la noi metode pe care să le introducem în acest cadru. Aproape fiecare dintre cele pe care le-am încercat putea fi adăugată”, spune Hamilton.
Cadrul pe care l-au creat, învățarea contrastivă a informațiilor (I-Con), arată cum o varietate de algoritmi pot fi priviți prin prisma acestei ecuații unificatoare. Acesta include totul, de la algoritmi de clasificare care pot detecta spamul până la algoritmii de învățare profundă care alimentează LLM-urile.
Ecuația descrie modul în care astfel de algoritmi găsesc conexiuni între puncte de date reale și apoi aproximează aceste conexiuni intern.
Fiecare algoritm își propune să minimizeze abaterea dintre conexiunile pe care învață să le aproximeze și conexiunile reale din datele sale de antrenament.
Ei au decis să organizeze I-Con într-un tabel periodic pentru a clasifica algoritmii în funcție de modul în care punctele sunt conectate în seturile de date reale și de principalele modalități prin care algoritmii pot aproxima aceste conexiuni.
„Munca a decurs treptat, dar odată ce am identificat structura generală a acestei ecuații, a fost mai ușor să adăugăm mai multe metode la cadrul nostru”, spune Alshammari.
Un instrument pentru descoperire
Pe măsură ce aranjau tabelul, cercetătorii au început să vadă lacune în care ar putea exista algoritmi, dar care nu au fost încă inventați.
Cercetătorii au umplut o lacună împrumutând idei dintr-o tehnică de învățare automată numită învățare contrastivă și aplicându-le la gruparea imaginilor. Acest lucru a dus la un nou algoritm care putea clasifica imaginile neetichetate cu 8% mai bine decât o altă abordare de ultimă generație.
De asemenea, au folosit I-Con pentru a arăta cum o tehnică de eliminare a deviațiilor de date dezvoltată pentru învățarea contrastivă ar putea fi utilizată pentru a spori precizia algoritmilor de grupare.
În plus, tabelul periodic flexibil permite cercetătorilor să adauge noi rânduri și coloane pentru a reprezenta tipuri suplimentare de conexiuni la puncte de date.
În cele din urmă, faptul că I-Con ar putea ajuta oamenii de știință din domeniul învățării automate să gândească în mod creativ, încurajându-i să combine idei în moduri la care altfel nu s-ar fi gândit neapărat, spune Hamilton.
„Am demonstrat că o singură ecuație foarte elegantă, înrădăcinată în știința informației, oferă algoritmi bogați care acoperă 100 de ani de cercetare în domeniul învățării automate. Acest lucru deschide multe noi căi pentru descoperiri”, adaugă el.
