3 Tačke
Članak

Intel Optane memorija pokreće LLM sa bilion parametara na jednoj GPU

Redditor je koristio šest Intel Optane PMem stickova (768 GB) za pokretanje Kimi K2.5 modela sa bilion parametara na Xeon radnoj stanici, postižući ~4 tokena u sekundi.

3 Tačke
43 sekunde čitanja

Redditor APFrisco je izazvao pažnju koristeći Intel Optane Persistent Memory module kao RAM za pokretanje jezičkog modela sa bilion parametara (Kimi K2.5) na lokalnoj radnoj stanici. Sistem je koristio šest 128 GB Optane stickova (ukupno 768 GB) u kombinaciji sa Samsung DDR4 memorijom kao kešom, na Xeon platformi sa jednom GPU od 12 GB.

Postignuta je brzina od približno 4 tokena u sekundi, što se smatra uspehom za ovako ograničen hardver. Inferencija je izvedena hibridno (GPU/CPU) koristeći llama.cpp, uz optimizaciju rutiranja na GPU. Iako je Optane jeftiniji od ekvivalentnog DRAM-a, ovo je egzotično rešenje jer je Intel ukinuo proizvodnju. Očekuje se da će CXL standard popuniti prazninu između DRAM-a i SSD-ova.

Povezani članci