3 Tačke
Članak

Ollama brži na Mac računarima uz Apple MLX okvir

Ollama je objavio verziju 0.19 koja na Mac računarima sa Apple siliconom ubrzava obradu upita preko Apple MLX-a i poboljšava upravljanje memorijom.

3 Tačke
40 sekundi čitanja

Ollama, aplikacija za lokalno pokretanje AI modela, objavila je ažuriranje koje koristi Appleov mašinsko-učeći okvir MLX. Prema navodima kompanije, brzina obrade upita (prefill) porasla je oko 1,6 puta, dok je generisanje odgovora (decode) gotovo udvostručeno na Mac računarima sa Apple siliconom.

Najveće pogodnosti očekuju se na uređajima sa M5 serijom čipova, uz oslanjanje na nove GPU Neural Accelerators. Ažuriranje takođe donosi pametnije upravljanje memorijom, što bi trebalo da poboljša odziv alata za AI kodiranje i chat asistenata tokom dužih sesija. Preview je dostupan kao Ollama 0.19, uz preporuku da Mac ima više od 32 GB unified memorije. Trenutno se podržava samo Alibaba Qwen3.5, dok Ollama planira širenje podrške.

Povezani članci