SWE-bench è saturo: come si confrontano davvero i modelli sul coding agentico

Per due anni SWE-bench Verified è stato il termometro del coding automatico. Oggi non lo è più, e il motivo è semplice: i primi tre modelli della classifica sono separati da un punto percentuale. Quando un benchmark comprime tutti i concorrenti in un fazzoletto, ha smesso di misurare e ha iniziato a decorare.

Confrontiamo tre modelli che rappresentano tre strategie diverse: Claude Opus 5 (Anthropic, uscito il 24 luglio 2026), GPT-5.6 Sol (OpenAI) e Kimi K3 (Moonshot AI, 2,8 trilioni di parametri MoE, con i pesi attesi per il 27 luglio).

I numeri

Tre osservazioni prima di leggere questa tabella come una classifica.

Primo: le fonti non concordano. Vals AI, che usa l’harness minimale mini-swe-agent con il solo strumento bash, dà Opus 5 al 97,0%. BenchLM, aggiornato il 24 luglio, lo dà al 96% con Claude Mythos 5 al 95,5% e Claude Fable 5 al 95%. LLM Stats mette in testa Fable 5 al 95,0%. Sono tutte cifre corrette nel proprio contesto e tutte inutili se le si mescola.

Secondo: l’harness conta quanto il modello. Il punteggio di Kimi K3 su Terminal-Bench 2.1 (88,3%) arriva dalla tabella di lancio di Moonshot con KimiCode al massimo livello di reasoning. Quello di GPT-5.6 Sol (89,5%) arriva da Artificial Analysis, che gira Terminus 2 in sandbox e2b con pass@1 mediato su tre ripetizioni. Mezzo punto di differenza fra i due non significa nulla.

Terzo: SWE-bench Verified ha un problema di contaminazione. Dopo il ritiro di OpenAI del febbraio 2026, diverse fonti raccomandano di guardare a SWE-bench Pro, che usa repository mantenuti attivamente e senza ground truth pubblica. Lì i numeri crollano: Claude Fable 5 guida con l’80,3%, Opus 5 segue con il 79,2%. Diciassette punti di distacco dal Verified, sullo stesso tipo di compito.

Cosa cambia nella pratica

Il divario interessante non è fra i tre modelli di punta, ma fra il Verified e tutto il resto.

Su SWE-bench Verified, che chiede di produrre una patch per una issue GitHub ben descritta in un repository Python noto, siamo oltre il 95%. Su SWE-bench Pro, che usa codice mai visto, siamo intorno all’80%. Su Terminal-Bench 2.1, che chiede di installare pacchetti, configurare server, indagare build rotte e correggere il tiro leggendo l’output dei comandi, siamo sotto il 90% con 89 task in tutto.

La differenza fra queste tre cifre è la differenza fra “sa scrivere una patch” e “sa lavorare”. Il primo problema è risolto. Il secondo no.

Quale scegliere

Claude Opus 5 ha il profilo più completo sui compiti lunghi: guida l’Agentic Index di Artificial Analysis a 55,3 e ARC-AGI-3 al 30,2%, circa 3,75 volte il modello successivo. Costa 5 $ e 25 $ per milione di token, la metà di Fable 5. Il caveat lo segnala la stessa Artificial Analysis: il tasso di allucinazione misurato è alto, il che pesa sui flussi in cui l’agente non ha modo di verificare quello che afferma.

GPT-5.6 Sol vince sui compiti da riga di comando e sul ragionamento astratto puro. È la scelta ragionevole se il collo di bottiglia è l’ambiente shell più che la scrittura di codice applicativo. Costa di più in output.

Kimi K3 è la novità strutturale. Se i pesi arrivano davvero il 27 luglio con una licenza utilizzabile, sarà il primo modello scaricabile con punteggi frontier verificati da terzi. Nel frattempo si raggiunge solo via API a 3 $ e 15 $, ed è più lento: Artificial Analysis lo misura intorno ai 34 token al secondo sull’API di Moonshot, con circa sette secondi di time to first token.

La conclusione operativa

Smettete di scegliere il modello sulla base della classifica di SWE-bench Verified. È satura e, secondo diverse fonti, contaminata.

Guardate invece tre cose: il punteggio su SWE-bench Pro o Terminal-Bench 2.1 con l’harness dichiarato, il costo per task (non per token) e il comportamento del modello quando sbaglia. L’ultima variabile non compare in nessuna classifica, ma è quella che determina se un agente vi fa risparmiare tempo o ve ne fa perdere.