3 Tačke
Članak

Google TPU čipovi pokreću AI u Meta centrima

Google TPU čipovi sada rade u produkciji u Meta podacima kroz PyTorch-native SGLang, što je prvi put da se TPU prodaju eksternim korisnicima.

3 Tačke
38 sekundi čitanja

Google TPU čipovi, namenjeni AI opterećenjima, sada rade u produkciji u Meta podacima kroz novu PyTorch-native verziju SGLang inference engine-a, objavljenu na Google developer blogu. Ovo je prvi put da se TPU prodaju eksternim korisnicima, što bi moglo da ugrozi Nvidia dominaciju na tržištu AI čipova.

Meta je ranije koristila TPU preko PyTorch/XLA mosta, ali je sada omogućena podrška bez prepisivanja koda. Google je zajedno sa Meta i SGLang timom razvio TorchTPU, a performanse na Ironwood TPU dostižu preko 700 tokena u sekundi, dok Nvidia GB200 postiže 452. Amazon je takođe najavio open-source TorchNeuron za svoje Trainium čipove.

Teme

Povezani članci