Nvidia a dezvăluit noile sale „supercomputere AI personale” DGX Spark și DGX Station la conferința GTC, care sunt ambele alimentate de platforma Grace Blackwell a companiei și concepute pentru ca utilizatorii să lucreze pe modele mari AI, cu sau fără conexiune la un centru de date. Spark este disponibil pentru precomandă astăzi.
Spark este noul nume pentru „cel mai mic supercomputer AI din lume”, cu preț începând de la 3.000 USD de la Nvidia, de dimensiunea Mac Mini, care a fost anunțat cu numele „Digits” la CES la începutul acestui an.
Cu 20 de nuclee Arm conectate folosind C2C la un GPU din generația Blackwell, 128 GB de memorie LPDDR5X și rețea NVIDIA ConnectX-7 de 200 GbE, NVIDIA DGX Spark este interesant. La un preț între 3000 și 3999 USD este departe de a fi ieftin dar, pe de altă parte, ne așteptăm ca oamenii să creeze cele mai minunate clustere cu ele.
NVIDIA DGX Spark este un mini PC minuscul AI de 128 GB, creat pentru scalarea în cluster.
NVIDIA DGX Spark este minuscul, se potrivește cu ușurință în palmă, cu un stil strălucitor care amintește de NVIDIA DGX-1. Ceea ce se află în interior va schimba jocul pentru cei serioși cu privire la dezvoltarea AI locală și portabilă. În loc de un server rack mare, consumator de energie, acesta este un dispozitiv de 170 W.
În interior, procesorul bazat pe Arm oferă 10 nuclee Cortex-X925 și 10 nuclee Cortex-A725 Arm pentru un total de 20 de nuclee. Spre deosebire de GPU-ul pentru centrul de date GB300, GB10 are ieșiri de afișare. Pachetul este flancat de 128 GB de memorie partajată LPDDR5X (evaluată la 273 GB/s.)
NVIDIA și Mediatek au lucrat împreună la modelul GB10. În interior, NVIDIA GB10 combină atât un procesor Arm, cât și un GPU NVIDIA Blackwell într-un singur pachet conectat prin interconectarea C2C a NVIDIA.
NVIDIA le vinde și le susține nu doar ca mini computere AI unice, vor fi si soluții cu suport pentru două într-un cluster, care poate creste puterea de procesare AI.
Pe spate sunt patru porturi USB4 de 40 Gbps, un port HDMI, un port de 10 GbE, iar apoi portul dual NVIDIA ConnectX-7 NIC despre care Nvidia a spus că acceptă clustering de 200 GbE cu o a doua unitate.
Într-adevăr, pe pagina de precomandă, NVIDIA DGX Spark 4TB este listat la 3999 USD, sau cu 1000 USD mai mult decât ASUS Ascent GX10 care împarte aceeași placă de bază, dar cu doar 1TB spațiu de stocare local. Există, de asemenea, o opțiune pentru un pachet NVIDIA DGX Spark cu două dintre aceste unități și un cablu QSFP pentru a susține comunicare în interiorul clusterului.
NVIDIA a spus că inițial s-au concentrat pe aducerea de configurații de cluster de 2x GB10 folosind rețeaua RDMA de 200 GbE. De asemenea, nimic nu îi împiedică pe oameni să se extindă, în ciuda faptului că nu este o configurație NVIDIA acceptată inițial.
NVIDIA va livra DGX Spark cu sistemul de operare NVIDIA DGX . Aceasta este o bază Ubuntu Linux cu multe dintre driverele NVIDIA și pachete software care să sprijine lucrul cu AI.
Într-un pachet care vine cu puțin peste 1,1 L și 1,2 kg, este greu să nu fii entuziasmat de unul dintre acestea. În plus, este și mai greu să nu fii entuziasmat de gruparea, clusteringul acestor sisteme mici. Adăugarea unei rețele de mare viteză reală înseamnă că există un potențial ușor de utilizare a unui număr dintre acestea cu stocarea în rețea, făcând probabil versiunile de 1TB o valoare mai bună.
DGX Station, cu o dimensiune mai mare, găzduiește supercip-ul desktop GB300 Blackwell Ultra, anunțat recent, de la Nvidia, care „oferă 20 de petaflopi de performanță AI și 784 GB de memorie de sistem unificată”.
Nvidia a mai spus că partenerii OEM vor realiza versiuni ale computerelor DGX. Asus, Dell, HP, Boxx, Lambda și Supermicro își vor construi propriile variante DGX Station, care vor fi disponibile în cursul acestui an. Între timp, Spark va avea versiuni realizate de Asus, Dell, HP și Lenovo. Puteți rezerva unul astăzi pe site-ul Nvidia, cu livrări așteptate în această vară.
Nvidia nu este singura companie care construiește GPU-uri cu multă memorie unificată care poate fi folosită pentru LLM-uri găzduite local. Rivalul AMD are Ryzen AI Max+ „Strix Halo”, iar HP pune o versiune a acestuia de 128 GB într-un laptop, în timp ce Framework a utilizat-o într-un desktop de 2.000 USD. Ambele permit GPU-ului să acceseze până la 96 GB de VRAM.
