Kineska kompanija Moonshot AI lansirala je Kimi K3, model sa 2,8 biliona parametara koji je na Frontend Code Arena testu osvojio 1.679 poena, nadmašivši Claude Fable 5. Model ima kontekstni prozor od milion tokena, nativnu viziju i aktivira samo 16 od 896 eksperata po tokenu. Cena API-ja iznosi 0,30 dolara po milion tokena za keširane ulaze, 3 dolara za nekeširane i 15 dolara za izlazne tokene.
Moonshot tvrdi da je K3 ostvario 2,5 puta bolju efikasnost skaliranja zahvaljujući novim arhitektonskim rešenjima: Kimi Delta Attention i Attention Residuals. Obuka je uključivala kvantizaciju sa MXFP4 težinama i MXFP8 aktivacijama. Model je testiran na Nvidia H200 i neimenovanoj alternativnoj GPGPU. Puni težinski fajlovi biće objavljeni 27. jula, a do tada se svi rezultati zasnivaju na tvrdnjama Moonshot AI.