3 Tačke
Članak

Entuzijasta ugradio bučni Tesla V100 u gejming PC za 266 dolara

Entuzijasta je za 266 dolara ugradio Nvidia Tesla V100 sa 16 GB VRAM-a u svoj gejming računar, postigavši ukupno 32 GB za lokalne LLM modele.

3 Tačke
41 sekunda čitanja

Entuzijasta Oskar Molnar je za 266 dolara nabavio Nvidia Tesla V100 SXM2 karticu sa 16 GB HBM2 memorije, SXM2-na-PCIe adapter i modifikovao hlađenje kako bi smanjio buku. Nakon podešavanja, sistem sa RTX 4080 (16 GB) i Tesla V100 (16 GB) ima ukupno 32 GB VRAM-a, što omogućava pokretanje lokalnih velikih jezičkih modela (LLM).

Molnar je koristio NixOS sa starijim Nvidia drajverom koji podržava i Volta i Ada arhitekturu. Testirao je model od 27 milijardi parametara koji radi brzinom od 32 tokena u sekundi, što je dovoljno za interaktivnu upotrebu i brže od većine cloud API rešenja. Buka ventilatora je smanjena na 10% snage, što drži temperaturu ispod 50°C.

Povezani članci