Reddit korisnik Objz izgradio je funkcionalni AI chatbot u Minecraftu koristeći 445.782 komandna bloka, bez modova, dodataka ili datapakova. Ovaj LLM ima 64-dimenzionalni prostor ugrađivanja, skriveni sloj od 256 neurona i rečnik od 2.048 reči, a treniran je na 11.118 DailyDialog razgovora. Korisnici mogu komunicirati sa njim kroz /dialog komandu, a odgovori se generišu reč po reč.
Objz je optimizovao model koristeći ternarne vrednosti za težine (-1, 0, +1), što je smanjilo broj blokova sa skoro 2 miliona na 445.782. Ova kvantizacija je primenjena tokom treninga, uz straight-through estimator za ažuriranje težina. Iako chatbot nije posebno pametan i ne zna matematiku, predstavlja impresivan primer kreativnosti u ograničenom okruženju. Generisanje svake reči traje oko 1,8 sekundi na serveru sa 35 tickova u sekundi.
