Google a lansat discret o nouă aplicație pe GitHub numită AI Edge Gallery. Este o aplicație Android experimentală, care nu se află încă în Google Play Store, pentru a rula offline modele generative AI, potrivit TechCrunch. Conform Google aplicația va ajunge și pe dispozitivele iOS în viitorul apropiat.
Urmărește cele mai noi producții video TechRider.ro
- articolul continuă mai jos -
Aplicația permite utilizatorilor să găsească, să descarce și să ruleze pe telefoanele lor o serie de modele AI compatibile, disponibile în mod open-source, de pe platforma de dezvoltare AI Hugging Face. Cu acestea modele AI utilizatorii pot genera imagini, primi răspunsuri la întrebări, pot scrie și edita cod printre altele.
Modelele rulează offline, fără a avea nevoie de o conexiune la internet, exploatând procesoarele telefoanelor compatibile.
Modelele de inteligență artificială care rulează în cloud sunt adesea mai puternice decât omologii lor găzduiți local, dar au și dezavantajele lor. Unii utilizatori ar putea fi reticenți față de trimiterea de date personale sau sensibile către un centru de date la distanță sau ar dori să aibă modele disponibile fără a fi nevoie să găsească o conexiune Wi-Fi sau celulară.
Google AI Edge Gallery, pe care Google o numește o „versiune Alpha experimentală”, poate fi descărcată de pe GitHub urmând aceste instrucțiuni.
Funcționalitățile de bază pentru aplicațiile AI offline
Când instalați aplicația, ajungeți la un ecran de pornire cu opțiunile „Ask Image”, „Prompt Lab” și „AI Chat”. Dacă faceți clic pe oricare dintre acestea, veți ajunge la un alt ecran în care puteți alege un model pentru a rula interogarea dvs. Modul Ask Image vă permite să adăugați o imagine și să tastați un prompt pentru a pune o întrebare despre aceasta. Aplicația acceptă diferite tipuri de întrebări bazate pe imagini, de la identificarea simplă a obiectelor până la sarcini mai complexe de rezolvare a problemelor. Un exemplu practic este posibilitatea de a face o fotografie a unei probleme matematice și de a cere soluția, ceea ce subliniază versatilitatea capacităților integrate de vizualizare computerizată.
Prompt Lab -Laboratorul Prompt are filele Free form, Rewrite tone, Summarize text și Code snippet pentru a efectua aceste acțiuni și utilizatorii îl pot utiliza pentru a lansa sarcini „single-turn” bazate pe modele AI, precum rezumarea și rescrierea textului. Prompt Lab vine cu mai multe șabloane de sarcini și setări configurabile pentru reglarea fină a comportamentelor modelelor.
În cele din urmă, AI Chat vă permite să conversați cu modelele AI. Zona de chat AI permite utilizatorilor să poarte conversații în mai multe etape cu modelele AI integrate. Această funcționalitate depășește simplele interacțiuni de tip întrebare-răspuns și permite conversații contextuale în care modelul ține cont de mesajele anterioare din conversație. Interfața de chat a fost optimizată cu diverse îmbunătățiri UX, inclusiv formatarea îmbunătățită a textului pentru ecrane mai mici și afișarea numelor acceleratoarelor în etichetele mesajelor de chat și ale abonaților. În versiunea actuală a aplicației, caracterul offline al funcționalității de chat asigură că conversațiile private rămân complet pe dispozitiv, ceea ce oferă avantaje semnificative în materie de protecție a datelor.
Aplicația folosește modele care trebuie să le descărcați individual și pentru aceasta veți avea nevoie de un contul Hugging Face. Printre cele aproximativ 20 de modelele AI disponibile găsim Gemma-3n-E2B-it-int4, Gemma-3n-E4B-it-int4, Gemma3-1B-IT q4, QWEN2.5-1.5B-Instruct q8 precum și diverse variante Llama.
Pentru accesarea modelelor suplimentare se va apăsa butonul + din partea stânga jos a ecranului de pornire și se poate importa modelul dorit. În funcție de model și de hardware-ul dumneavoastră, aplicația poate utiliza GPU sau CPU pentru a procesa răspunsurile la interogări, cu mențiunea că orice sarcină procesată cu GPU va fi mai rapidă.
Google avertizează că performanța poate varia în funcție de proprietățile dispozitivului. Smartphone-urile moderne cu hardware mai puternic vor rula modelele AI mai rapid, dar și dimensiunea modelului contează. Modelele mai mari, cu mai mulți parametrii, vor avea nevoie de mai mult timp pentru a finaliza o sarcină – de exemplu, răspunsul la o întrebare despre o imagine – decât modelele mai mici.
Deși este foarte interesant că puteți utiliza modelele offline, procesarea răspunsurilor pe propriul dispozitiv poate fi intensivă din punct de vedere al procesorului, astfel încât este posibil să vedeți cum bateria se descarcă un pic mai repede decât în mod normal dacă o solicitați prea mult.
AI Edge Gallery este capabil să funcționeze bine pe smartphone utilizând un motor special dezvoltat de Google numit LiteRT sau Lite Runtime. Este un software optimizat care permite funcțiilor AI să funcționeze rapid la nivel local, fără a fi nevoie să vă trimiteți toate datele în cloud. Dezvoltatorii pot găsi, de asemenea, acest instrument util pentru testarea modelelor LiteRT .task.
Limitări care trebuie luate în considerare
Deși este plăcut să rulați modele AI offline, trebuie să știți că acest lucru pe hardware-ul dvs. limitat va însemna o performanță mai lentă decât un server puternic din cloud-ul Google. Un alt aspect de luat în considerare este dimensiunea LLM-urilor pe care le veți descărca. Modelele implicite au dimensiuni cuprinse între 560 MB și 4,4 GB și vor locui în spațiul de stocare al telefonului dvs. până când decideți să le ștergeți, așa că veți dori să vă asigurați că aveți suficient spațiu.
Concepută pentru smartphone-uri ce suportă Android 10 sau versiuni ulterioare acestuia, cu cel puțin 6 GB RAM și chipseturi moderne, Google susține că aplicația oferă performanțe impresionante, în ciuda faptului că rulează local modele AI complexe. Conform testelor de performanță realizate de Google, aceasta atinge un timp de răspuns de 1,3 secunde (TTFT-Time-To-First-Token) atunci când rulează modelul Gemma cu 2 miliarde de parametri pe un Pixel 8 Pro.
Galeria Google Ai Edge reprezintă un pas semnificativ în dezvoltarea inteligenței artificiale mobile, permițând modelelor AI generative să fie complet offline pe dispozitivele Android. Această aplicație experimentală demonstrează modul în care smartphone-urile moderne pot deveni centre independente de inteligență artificială care gestionează sarcini complexe precum transcrierea textului, generarea de imagini și conversații cu modele AI fără conexiune la internet.
Google invită membrii comunității de dezvoltatori să ofere feedback cu privire la experiența Google AI Edge Gallery. Aplicația se află sub o licență Apache 2.0, ceea ce înseamnă că poate fi utilizată în majoritatea contextelor – comerciale sau nu – fără restricții.
