În ultimii ani, diverse sisteme și aplicații au fost integrate cu capacități de inteligență artificială generativă (gen AI), transformând aplicațiile obișnuite în aplicații bazate pe AI generativ. În paralel cu aceste progrese, au apărut noi clase de atacuri care amenință securitatea și confidențialitatea aplicațiilor bazate pe gen-AI, cunoscute sub numele de Promptware. Promptware este un tip de atac care utilizează un prompt – o intrare sub formă de text, imagini sau mostre audio – care este conceput pentru a exploata o interfață LLM în momentul inferenței pentru a declanșa activități rău intenționate, cum ar fi răspândirea de spam sau extragerea de informații confidențiale.
Urmărește cele mai noi producții video TechRider.ro
- articolul continuă mai jos -
Google a remediat o eroare care permitea invitațiilor Google Calendar create în mod malițios să preia de la distanță controlul asupra agenților AI Gemini care rulează pe dispozitivul țintă și să divulge date sensibile ale utilizatorilor, potrivit BleepingComputer.
Atacul s-a desfășurat fără a necesita implicarea utilizatorilor și în afara interacțiunilor obișnuite cu asistentul, care au loc zilnic pentru utilizatorii Gemini.
Cum s-a desfășurat atacul
Gemini este asistentul AI Google integrat în Android, serviciile web Google și aplicațiile Google Workspace, având acces la Gmail, Calendar și Google Home.
Prin trimiterea unei invitații de calendar cu o injecție de prompt încorporată, adesea ascunsă în titlul evenimentului, atacatorii pot potențial să sustragă conținutul e-mailurilor și informațiile din Calendar, să urmărească locația victimei, să controleze dispozitivele inteligente din casă prin Google Home, să deschidă aplicații pe Android și să declanșeze apeluri video Zoom.
Atacul a fost demonstrat într-un raport al cercetătorilor SafeBreach, care au remarcat că nu necesită acces la modelul țintelor și nu a fost blocat de filtrarea prompturilor sau de alte măsuri de protecție din Gemini.
Atacul a început cu o invitație la un eveniment din Google Calendar trimisă țintei, titlul evenimentului conținând o injecție indirectă de prompturi.
Odată ce victima interacționează cu Gemini, de exemplu întrebând „Ce evenimente am în calendar astăzi?”, Gemini extrage lista de evenimente din Calendar, inclusiv titlul evenimentului rău intenționat încorporat de atacator.
Acesta devine parte a ferestrei de context Gemini, iar asistentul îl tratează ca parte a conversației, neputând realiza că instrucțiunea este un atac cibernetic.
În funcție de promptul utilizat, atacatorul poate declanșa instrumente sau agenți pentru a șterge sau edita evenimentele din Calendar, pentru a deschide o adresă URL pentru a recupera adresa IP a țintei, pentru a se alătura unui apel Zoom, pentru a utiliza Google Home pentru a controla dispozitive fizice sau pentru a accesa e-mailuri și a extrage date sensibile ale utilizatorului.
Acesta este un dezavantaj al permisiunilor extinse ale Gemini de a efectua acțiuni în diferite instrumente, deoarece tocmai de aici provine utilitatea sa.
Un aspect de reținut este că atacatorul poate masca atacul prin trimiterea a șase invitații din Calendar menținând în același timp un anumit nivel de discreție, incluzând promptul malițios doar în ultima invitație.
Acest lucru se datorează faptului că secțiunea Evenimente din Calendar afișează doar cele mai recente cinci evenimente, restul fiind ascunse sub butonul „Afișați mai multe”. Cu toate acestea, atunci când i se solicită, Gemini le va analiza pe toate, inclusiv promptul rău intenționat.
Între timp, utilizatorul nu va vedea titlul rău intenționat și nu își va da seama de compromiterea securității decât dacă extinde manual lista de evenimente din Calendar făcând clic pe „Afișați mai multe”.
Gemini este și ținta atacurilor de tip phishing
Luna trecută, cercetătorul în securitate al Mozilla, Marco Figueroa, a evidențiat un alt caz de atac de injectare de prompturi ușor de realizat, care viza din nou Gemini, pregătind terenul pentru atacuri de phishing convingătoare împotriva țintei.
Google a răspuns la raport afirmând că lansează continuu noi măsuri de protecție pentru Gemini, pentru a se apăra împotriva unei game largi de atacuri ostile, multe dintre acestea fiind planificate pentru implementare iminentă sau aflate deja într-o etapă de implementare.
„Am remediat această problemă înainte ca ea să poată fi exploatată, datorită muncii excelente și divulgării responsabile a lui Ben Nassi și a echipei sale”, a declarat Andy Wen, director senior, managementul produselor de securitate, Google Workspace.
„Cercetările lor ne-au ajutat să înțelegem mai bine noile căi de atac și au accelerat eforturile noastre de implementare a unor măsuri de apărare noi și de ultimă generație, care sunt acum în vigoare pentru a proteja utilizatorii. Este un exemplu excelent al importanței colaborării între echipe de red-teaming și între industrii.”
