3 Tačke
Članak

Nova verzija AI indeksa obara Kimi K3.1 Pro na deveto mesto

Artificial Analysis objavio je Intelligence Index v5 sa 60 odsto privatnih pitanja, što je Kimi K3.1 Pro sa četvrtog palo na deveto mesto.

3 Tačke
40 sekundi čitanja

Kompanija Artificial Analysis predstavila je novu verziju svog Intelligence Indexa pod nazivom v5, koja donosi značajne promene u načinu testiranja AI modela. Oko 60 odsto novih testova čine privatna pitanja, takozvani „held-out answers“, što ima za cilj da smanji praksu „benchmaxxing“, odnosno pripremanja modela za evaluacije putem starih pitanja dostupnih na internetu.

Ova promena najviše je pogodila kineski model Kimi K3.1 Pro kompanije Moonshot AI, koji je sa četvrtog mesta pao na deveto. Iako Moonshot još nije objavio težine modela, stručnjaci napominju da je ovo povratak uobičajenom stanju. Novi indeks je doneo i novog lidera, Googleov Gemini 4 Carbon, koji je zauzeo prvo mesto sa ocenom 59.

Teme

Povezani članci