3 Tačke
Članak

Advokat napravio privatni AI server sa osam Nvidia V100 GPU

Advokat je izgradio privatni AI server sa osam polovnih Nvidia Tesla V100 grafičkih kartica kako bi pravni fajlovi ostali van oblaka, uz brzinu do 215 tokena u sekundi.

3 Tačke
58 sekundi čitanja

Advokat je na Redditu podelio detalje o privatnom AI serveru koji je napravio od osam polovnih Nvidia Tesla V100 grafičkih kartica iz 2018. godine, kako bi se osiguralo da predmeti klijenata nikada ne napuste kancelariju. Server koristi dve SXM2 NVLink ploče sa po četiri kartice, četiri PEX prekidača i SlimSAS kablove, a pokreće otvoreni model DeepSeek V4.1 Flash sa svim ekspertima u GPU memoriji, postižući do 215 tokena u sekundi. Cena svake ploče sa četiri GPU-a iznosila je oko 2.400 dolara u trenutku kupovine.

Sistem je trenutno u svakodnevnoj upotrebi za prvu obradu predmeta: čita dokumente, izvlači činjenice, datume i brojeve, sumira ih i priprema nacrte. „Ništa ne izlazi bez prave provere“, što je dobra praksa sa ljudskim faktorom. Takođe, omogućava privatnost za slučajeve gde se fajlovi klijenata ne mogu slati u oblak. Iako je reč o hobiju, advokat navodi da bi u budućnosti to mogla biti poslovna ideja, a sledeći korak je obrada dva ili tri zahteva istovremeno.

Teme

Povezani članci