3 Tačke
Članak

Optane memorija pokreće AI model od 2,8 biliona parametara na CPU

Entuzijasta je na CPU-u pokrenuo Kimi K3 model sa 2,8 biliona parametara koristeći Optane PMem 200 memoriju, uz blower ventilatore za hlađenje.

3 Tačke
43 sekunde čitanja

Korisnik homelab zajednice na Redditu pokrenuo je Moonshot AI model Kimi K3 sa 2,8 biliona parametara na Intel Xeon procesoru sa 40 jezgara, koristeći isključivo CPU i drugu generaciju Optane PMem 200 memorije, bez GPU-a. Sistem radi brzinom od 0,85 tokena u sekundi uz 1-bitnu kvantizaciju, a sa 3-bitnom brzina pada na 0,75 tokena u sekundi.

Optane moduli se pri trajnom izvršavanju inference-a zagrevaju do ekstremnih temperatura, pa je graditelj dodao dva blower ventilatora od 12W kako bi sprečio pregrevanje i potencijalno oštećenje susedne DRAM memorije. Intel propisuje prinudno strujanje vazduha od 2,4 do 2,7 metara u sekundi za hlađenje ovih modula, što je standard u data centrima. Graditelj planira dodavanje GPU-a i delimično učitavanje modela u DRAM.

Teme

Povezani članci