3 Tačke
Članak

AI model sa 28,9 miliona parametara pokrenut na ESP32-S3 mikrokontroleru

Ukrajinski programer Slava S pokrenuo je jezički model sa 28,9 miliona parametara na ESP32-S3 čipu koristeći Google-ovu tehniku Per-Layer Embeddings i 16MB fleš memorije.

3 Tačke
52 sekunde čitanja

Ukrajinski programer Slava S, poznat kao 'slvDev' na GitHub-u, uspeo je da pokrene jezički model sa 28,9 miliona parametara na ESP32-S3 mikrokontroleru koji košta ispod 10 dolara. Model je kvantizovan na 4-bitnu preciznost, čime je ukupna veličina datoteke smanjena na 14,9 MB. Ključni trik je korišćenje Google-ove tehnike Per-Layer Embeddings, gde je tabela sa 25 miliona parametara smeštena u spori 16MB fleš, dok je 512KB brze SRAM memorije rezervisano za jezgro za zaključivanje.

Model je obučen na TinyStories skupu podataka i može da piše samo kratke jednostavne priče, bez odgovaranja na pitanja ili pisanja koda. Ipak, ovo je značajan dokaz koncepta koji pokazuje da se neuronske mreže mogu pokretati na jeftinom ugrađenom hardveru. Programer zamišlja primene poput aparata za kafu koji poznaje svaku vrstu zrna i temperature vode, potpuno van mreže. Ova tehnika takođe podržava ideju korišćenja fleš memorije kao slojevitog skladišta za AI servere.

Povezani članci

Doom pokrenut pomoću regularnih izraza, jedan frejm traje 180 sekundi

Programer Artem Lytkin uspeo je da pokrene igru Doom koristeći regularne izraze, pri čemu je svaki frejm zahtevao gotovo 14 miliona zamena i trajao oko 180 sekundi.

49 sekundi čitanja

FPGA rekreacija F-14 CADC čipa testirana u 3D štampanom modelu

Stručnjak za FPGA Alan Taylor rekreirao je centralni vazdušni računar (CADC) lovca F-14 Tomcat u FPGA čipu i testirao ga u 3D štampanom modelu aviona.

40 sekundi čitanja

Entuzijasta ugradio bučni Tesla V100 u gejming PC za 266 dolara

Entuzijasta je za 266 dolara ugradio Nvidia Tesla V100 sa 16 GB VRAM-a u svoj gejming računar, postigavši ukupno 32 GB za lokalne LLM modele.

41 sekunda čitanja

Rusija pretvara sovjetske avione u lovce na dronove

Rusija oprema Yak-52 i An-2 avione sistemima za lansiranje FPV dronova presretača, koristeći stare letelice u borbi protiv ukrajinskih bespilotnih letelica.

39 sekundi čitanja