Nel 2024 la domanda era “il modello sa risolvere il problema?”. Nel 2026 la domanda è diventata “il modello sa quando non lo sa risolvere?”. È un cambio meno spettacolare del primo, ma molto più rilevante per chiunque metta un LLM in produzione.
Prendiamo i tre modelli che oggi si contendono la vetta sul ragionamento: GPT-5.6 Sol (OpenAI), Claude Opus 5 (Anthropic) e Gemini 3.1 Pro (Google DeepMind).
I numeri sui benchmark di ragionamento
| Benchmark | GPT-5.6 Sol | Claude Opus 5 | Gemini 3.1 Pro |
|---|---|---|---|
| GPQA Diamond (Artificial Analysis) | 94,1% (max) | 93,7% (adaptive, high effort) | 94,1% (Preview) |
| Humanity’s Last Exam | 47,2% (Price Per Token, 23 lug) | 44,4% circa | 46,44 sulla board Scale SEAL |
| ARC-AGI-2 (BenchLM, 25 lug) | 92,5% | 90,4% | non nel primo terzetto |
| ARC-AGI-3 (LLM Stats) | non tracciato | 30,2%, primo su 4 modelli | non tracciato |
| Riferimento umano | GPQA: esperti con PhD al 65% | ARC-AGI-2: individuo medio 66% | HLE: nessun riferimento umano |
Su GPQA Diamond i tre modelli sono separati da quattro decimi di punto e stanno tutti quasi trenta punti sopra gli esperti con dottorato nel proprio campo. Su ARC-AGI-2, il benchmark che doveva resistere più a lungo, GPT-5.6 Sol è al 92,5% contro un 66% dell’individuo medio e una soglia da gran premio fissata all’85%. Anche quello sta per chiudersi.
L’unico banco di prova ancora aperto è ARC-AGI-3, la versione interattiva. Claude Opus 5 guida con il 30,2%, circa 3,75 volte il modello successivo secondo ARC Prize. Ma sono stati valutati appena quattro modelli, quindi è un dato da leggere come indizio, non come classifica.
Il problema che i punteggi non mostrano
Scale SEAL pubblica, accanto all’accuratezza su Humanity’s Last Exam, una seconda colonna: l’errore di calibrazione. Misura quanto la confidenza dichiarata dal modello si discosta dalla sua accuratezza reale.
I numeri sono imbarazzanti. Gemini 3.1 Pro Preview: 46,44% di accuratezza, 51% di errore di calibrazione. GPT-5.4 Pro: 44,32% di accuratezza, 38% di errore. Muse Spark di Meta: 40,56% di accuratezza, 50% di errore. Kimi K2.5: 24,37% di accuratezza, 67% di errore.
Tradotto: sui problemi più difficili che sappiamo costruire, questi modelli sbagliano più della metà delle volte e non se ne accorgono. Artificial Analysis misura il tasso di allucinazione di Claude Opus 5 intorno al 50% e per questo lo colloca sotto Fable 5 sulla propria metrica AA-Omniscience, nonostante Opus 5 guidi l’Intelligence Index complessivo a 61.
Un modello che sa di non sapere si può instradare, verificare, mettere in coda per revisione umana. Un modello sicuro di sé e sbagliato è un problema di ingegneria molto più costoso.
Quando le fonti si contraddicono
Vale la pena fermarsi su un caso specifico, perché illustra bene come si legge male una classifica.
Su FrontierMath, il post di lancio di GPT-5.6 riporta l’89% sui Tier da 1 a 3 e l’83% sul Tier 4. Epoch AI, che gestisce il set privato, ha verificato GPT-5.5 Pro al 39,6% sul Tier 4. Sono due numeri che raccontano due mondi diversi. Non è necessariamente disonestà: cambiano il modello, il budget di calcolo, il set (pubblico o privato) e le regole di scoring. Ma se prendete la cifra del blog post e la incollate accanto a quella di Epoch in una slide, state confrontando due cose che non hanno niente in comune.
Lo stesso vale per Humanity’s Last Exam. Un’indagine di FutureHouse del luglio 2025 stimava che circa il 30% delle risposte di riferimento nelle domande testuali di chimica e biologia potesse essere sbagliato. Il team del benchmark ha replicato in parte i risultati e ha annunciato un processo di revisione continua. Un punteggio del 47% su un test in cui una risposta su tre potrebbe essere errata va maneggiato con cura.
Come valutare oggi un modello di ragionamento
Tre criteri, in ordine di utilità decrescente.
Uno: l’errore di calibrazione, non l’accuratezza. Se il vostro caso d’uso prevede una revisione umana, un modello meno accurato ma ben calibrato produce meno lavoro di un modello più accurato e sicuro di sé. Scale SEAL è oggi una delle poche fonti che pubblica il dato.
Due: il costo per task, non per token. Artificial Analysis riporta nell’Intelligence Index v4.1 il tempo, il costo e i token in output per singolo task. La forbice è ampia: si va da circa un minuto e mezzo per task su Grok 4.3 a tredici minuti e mezzo su Claude Sonnet 4.6 in modalità massima. Su un carico di lavoro reale la differenza è enorme.
Tre: la freschezza del benchmark. GPQA Diamond è di fatto saturo e diversi aggregatori lo hanno già declassato a riferimento non ponderato. ARC-AGI-2 lo sarà entro pochi mesi. Un punteggio su un benchmark saturo non contiene informazione.
Il ragionamento grezzo, ormai, si compra a poco da chiunque. Quello che ancora non si compra è un modello che sappia dire “non lo so”.
Lascia un commento