Kompanija DeepSeek iz Hangzhoua objavila je na GitHubu svoj interni alat za inferenciju pod nazivom DeepInfer, koji je za sada prilagođen samo za njihov model V4-1 Flash. Alat koristi tehnike poput spekulativnog dekodiranja kako bi smanjio računarske troškove i potrošnju energije, a kompanija tvrdi da će budući modeli takođe biti podržani.
Ova odluka dolazi u trenutku kada američke kompanije traže jeftinija rešenja zbog rasta troškova inferencije. DeepSeek-ov model V4.1-Flash košta znatno manje od OpenAI-jevog GPT-6 Astra, što dodatno pritiska konkurente da snize cene. Istovremeno, administracija Donalda Trumpa zabranila je saveznim agencijama korišćenje DeepSeek-ovih alata, ali privatne kompanije mogu nastaviti da ih koriste.