Under AI-fältets första decennium var receptet enkelt: större modeller, mer träningsdata, bättre resultat. Det receptet har inte slutat fungera, men det har fått sällskap. Den mest påtagliga kapabilitetsförbättringen det senaste året har inte kommit från träning alls — utan från att låta modellerna tänka längre innan de svarar.
Test-time compute, eller inferensskalning, innebär att modellen genererar långa interna resonemangskedjor: den bryter ner problemet, prövar hypoteser, upptäcker fel och backar. Mänskligt uttryckt har vi gått från att fråga någon som svarar i magkänsla till att fråga någon som tar ett papper och räknar.
Latens är inte längre ett tekniskt mått
Det intressanta är att svarstid har slutat vara en ren kvalitetsbrist. I våra jämförelser ser vi ett tydligt samband: för komplexa uppgifter — juridisk analys, mjukvaruarkitektur, vetenskaplig granskning — stiger träffsäkerheten nära logaritmiskt med åtkomlig resonemangslängd. Tio sekunders eftertanke kan vara värd mer än en dubbelt så stor modell.
Det förändrar hur system bör designas. Frågan är inte längre 'hur snabb är modellen?' utan 'hur mycket tanke är den här uppgiften värd?'. En kundtjänstchatt behöver millisekunder. En kreditbedömning eller en kontraktsanalys tjänar på sekunder, ibland minuter. De bästa systemen vi ser i dag rutterar dynamiskt: enkel fråga, snabb modell; svår fråga, långsamt resonemang.
Var går gränsen?
Skalning av test-time compute är inte gratis evig förbättring. Vår genomgång pekar på tre dämpande faktorer: avtagande marginalnytta efter ett visst resonemangsdjup, kostnaden för långa kedjor i produktion, och att vissa fel — hallucinerade premisser tidigt i kedjan — förvärras ju längre modellen bygger vidare på dem.
Bedömningen är att vi ännu bara sett början. När träningsskalning och inferensskalning kombineras — modeller som dessutom tränats specifikt för att resonera effektivt — fortsätter kurvan uppåt. Men den stora lärdomen är arkitektonisk: kapabilitet är inte längre en egenskap hos modellen, utan en designparameter i systemet runt den.