Advokat napravio privatni AI server sa osam Nvidia V100 GPU
Advokat je izgradio privatni AI server sa osam polovnih Nvidia Tesla V100 grafičkih kartica kako bi pravni fajlovi ostali van oblaka, uz brzinu do 215 tokena u sekundi.
30 sekundi čitanja
3 članaka
Advokat je izgradio privatni AI server sa osam polovnih Nvidia Tesla V100 grafičkih kartica kako bi pravni fajlovi ostali van oblaka, uz brzinu do 215 tokena u sekundi.
Entuzijasta je za 266 dolara ugradio Nvidia Tesla V100 sa 16 GB VRAM-a u svoj gejming računar, postigavši ukupno 32 GB za lokalne LLM modele.
YouTuber je pretvorio Nvidia Tesla V100 server GPU sa SMX interfejsom u PCIe karticu, postigavši bolje performanse u AI inferenci od modernih GPU-a uz nižu cenu.
