De la chatboți care răspund la întrebări până la algoritmi care analizează radiografii, inteligența artificială e tot mai prezentă în viața noastră. Dar ce se întâmplă când aceste sisteme nu reușesc să înțeleagă cel mai simplu cuvânt din limbajul uman, „nu”?
Urmărește cele mai noi producții video TechRider.ro
- articolul continuă mai jos -
Aceasta nu e o întrebare filosofică, ci o problemă tehnică cu implicații serioase. Un nou studiu arată că multe modele de inteligență artificială, inclusiv cele folosite în domeniul medical, eșuează frecvent când trebuie să recunoască negația, relatează New Scientist.
Mai exact, nu fac diferența între o imagine care „arată semne de pneumonie” și una care „nu arată semne de pneumonie”.
Dacă un medic se bazează pe un sistem AI pentru a interpreta imagini medicale, o astfel de confuzie poate duce la erori grave de diagnostic sau de tratament.
Modele inteligente, dar oarbe la negație
Un copil învață repede ce înseamnă „nu”. În schimb, multe modele AI par să ignore cuvintele de negație ca și cum nu ar exista. „Toate sunt slabe la acest capitol, într-un fel sau altul”, spune Kumail Alhamoud de la Massachusetts Institute of Technology (MIT), autorul principal al studiului.
El și echipa sa au testat 11 modele AI care analizează atât limbajul, cât și imagini – printre care mai multe versiuni ale celebrului model CLIP, dezvoltat de OpenAI, și AIMV2, un model recent de top. Două dintre ele au fost antrenate special pe imagini medicale.
Cercetătorii au creat mii de perechi de imagini – unele care conțineau un anumit obiect, altele care nu – și au generat descrieri asociate de genul „imagine cu pisică” vs. „imagine fără pisică”. În total, aproape 80.000 de exemple.
Test simplu, rezultate slabe
Într-un prim test, AI-urile au fost rugate să găsească imagini cu obiecte specifice – dar care să nu conțină alte obiecte. De exemplu, mese fără scaune. Modelele s-au descurcat bine când a fost vorba de a găsi obiecte prezente (aproximativ 80% acuratețe), dar au scăzut drastic când a fost nevoie să excludă obiecte: doar 65% acuratețe sau chiar mai puțin.
Într-un alt test, modelele au trebuit să aleagă cea mai potrivită descriere pentru o imagine medicală – de exemplu, „radiografie care arată semne de pneumonie” vs. „radiografie fără semne de pneumonie”. Chiar și modelele specializate au obținut sub 40% acuratețe. Adică mai rău decât dacă ai fi ales la întâmplare.
De ce e asta o problemă serioasă
Rezultatele arată un lucru clar: modelele actuale au un bias de afirmație – tind să creadă că trebuie să confirme prezența a ceva, nu absența. În limbaj simplu, AI-ul nu prea pricepe când îi spui „nu”.
În medicină, această limitare e periculoasă. „E esențial să știm nu doar ce simptome are un pacient, ci și ce nu are – pentru a exclude diagnostice și a înțelege corect situația”, explică Karin Verspoor, expertă în procesarea limbajului natural, care nu a fost implicată în studiu.
Și în cazul chatboturilor AI, problema persistă. Modelele de tip „transformer” – coloana vertebrală a multor sisteme AI moderne – sunt bune la înțelegerea sensului în funcție de context. Dar cuvintele de negație, precum „nu” și „nicio”, funcționează diferit. Ele pot apărea oriunde în propoziție și schimbă complet sensul. Pentru AI, asta e greu de procesat.
Se poate corecta? Da, dar doar parțial
Cercetătorii au încercat să „învețe” modelele să înțeleagă mai bine negația, folosind exemple special create. Rezultatul? Performanță îmbunătățită cu 10% la căutarea de imagini și cu 30% la testele de alegere multiplă. Dar problema de bază rămâne.
„Soluțiile de până acum sunt ca un plasture – nu tratează rana profundă”, spune Marzyeh Ghassemi, coautoare a studiului.
De fapt modelele AI inteleg negatia, ce nu inteleg ele este lipsa. Si motivul este unul simplu, ele au fost antrenate sa descopere X proprietati dar nu si lipsa lor care inseamna orice altceva de fapt. O solutie in acest sens este ca modelele AI sa fie antrenate pe toate cazurile cunoscute etc. astfel ele vor lucra tot pe cazul pozitiv si vor construi o descriere pe calea pozitiva, si altfel si calea negativa este obtinuata si ea, si asta e una din caile noastre de a nega.
Deci modelele AI nu stiu de negatie pentru ca nu stiu ce e aia, ele nu au fost antrenate pentru asa ceva, si nu uitati si noua ne-a luat foarte mult timp sa conceptualziam nimicul (ca de inteles nu-l intelege nimeni), asa si la modelele AI o sa mai treaca ceva timp pana o sa gasim algoritmii potriviti sa fie conceptualizat si acolo nimicul, sau absenta a ceva.