Lokalni AI entuzijasti istražuju klasterovanje dva Dell Pro Max GB10 sistema, koji koriste Nvidia GB10 SoC sa 128GB jedinstvene memorije po sistemu, ukupno 256GB. Ovi sistemi su opremljeni ConnectX 7 200Gbps NIC-ovima koji podržavaju RoCE, omogućavajući distribuciju velikih AI modela preko mreže. Cena po sistemu je oko 6.332 dolara, što je ispod cene četiri 48GB GPU-a potrebnih za sličan GPU server.
Postavljanje klastera nije potpuno plug-and-play iskustvo, zahteva pažljivu konfiguraciju mrežnih interfejsa i ažuriranje firmvera. Nakon rešavanja problema sa propusnim opsegom, postignuto je približno 25GB/s preko 200Gbps veze. Za inferenciju se preporučuje vLLM sa alatima kao što su spark-vllm-docker i sparkrun, koji podržavaju tenzorski paralelizam za distribuciju modela preko više GPU-a.