Tra i tanti lanci di settembre, quello che ha fatto più discutere gli sviluppatori arriva da una startup quasi sconosciuta fino a due settimane fa. Il 15 settembre TypeSafe AI è uscita dalla modalità stealth presentando Jev, un modello che rinuncia del tutto alla generazione di testo. In pochi giorni è diventato virale, Bloomberg lo ha raccontato come un’alternativa più economica e veloce ai grandi modelli linguistici e un catalogo indipendente di progetti costruiti con Jev ha superato i 550 esempi in poco più di una settimana.
Chi c’è dietro
TypeSafe AI è una società di San Francisco fondata nel 2024 da Diogo Almeida, Erik Gafni e Sasha Sheng. Almeida, il CEO, ha lavorato circa quattro anni in OpenAI su RLHF, InstructGPT, ChatGPT e GPT-4. Insieme al lancio la società ha annunciato un round seed da 40 milioni di dollari guidato da DCVC, che secondo Forbes la valuta 200 milioni. Il nome è un omaggio all’economista William Stanley Jevons e al suo paradosso: quando l’uso di una risorsa diventa più efficiente, il consumo complessivo tende ad aumentare. La scommessa di TypeSafe è che un’intelligenza artificiale molto più economica finisca in molti più punti del software.
Come funziona: stato in ingresso, decisioni tipizzate in uscita
TypeSafe definisce Jev il primo di una nuova classe di modelli che chiama “System One”, riprendendo la distinzione di Daniel Kahneman tra il pensiero veloce e intuitivo (Sistema 1) e quello lento e deliberato (Sistema 2). Una richiesta a Jev contiene uno stato, cioè il contesto da valutare (una stringa, un oggetto JSON o un array di testi), e una serie di domande tipizzate di tre tipi:
- Choice: scegliere un’opzione da un insieme definito, per esempio a quale team assegnare un ticket;
- Score: collocare lo stato su una scala di livelli descritti, per esempio la gravità di un bug;
- Noul: valutare un’affermazione sì/no, restituendo una probabilità tra 0 e 1.
Ogni risposta arriva con le probabilità di tutte le opzioni e, per Choice e Score, con un indice di confidenza. Poiché le risposte possibili sono definite in anticipo, il modello non può restituire valori fuori schema, e TypeSafe presenta questo aspetto come l’eliminazione delle allucinazioni e degli errori di tipo. La garanzia però riguarda la forma della risposta: una Choice restituisce sempre un’opzione valida, che può comunque essere quella sbagliata.
Tutte le domande vengono valutate in parallelo, in un solo passaggio, invece di generare un token alla volta come fanno gli LLM. Il modello è stato addestrato con una tecnica chiamata Reinforcement Learning for Calibrated Decisions (RLCD), che ottimizza le probabilità rispetto agli esiti reali anziché rispetto alle preferenze di valutatori umani. L’obiettivo è la calibrazione: tra le risposte date con il 90% di probabilità, circa nove su dieci dovrebbero rivelarsi corrette. TypeSafe non ha pubblicato architettura, pesi o un paper tecnico; descrive Jev come un modello basato su transformer e addestrato solo su dati sintetici, mentre alcuni osservatori ipotizzano che derivi da un LLM open-weight.
I numeri dichiarati, con le dovute cautele
Jev costa 0,042 dollari per milione di token in input (42 dollari per miliardo) e i token in output sono gratuiti. I tempi di risposta dichiarati vanno da 70 a 500 millisecondi, con la maggior parte delle chiamate intorno ai 100. Un ticket di supporto con le relative domande pesa circa 300 token: centomila ticket della stessa dimensione costano circa 1,26 dollari.
TypeSafe sostiene che Jev sia da 40 a 200 volte più veloce e da 40 a 400 volte più economico dei modelli di frontiera su compiti comparabili, con punte di 193,6 e 444,6 volte. È la stessa azienda a mettere le mani avanti: quei valori vengono da workflow di test creati dal proprio team, possono contenere distorsioni e rappresentano la fascia alta dei risultati ottenibili nel mondo reale. Il servizio gira sulla costa ovest degli Stati Uniti, quindi dall’Europa la latenza di rete va misurata prima di promettere tempi di risposta agli utenti.
I limiti da conoscere
Jev non scrive risposte, non riassume documenti e non spiega il proprio ragionamento: per tutto ciò che richiede testo serve ancora un LLM. Accetta solo input testuali, non è affidabile con calcoli, conteggi e confronti tra date, che vanno fatti nel codice, e legge le istruzioni alla lettera, per cui domande ambigue producono risposte peggiori. Stato e domande condividono un limite di circa 64.000 token, e una Choice può avere al massimo 255 opzioni.
Anche l’accesso è ancora limitato. Il 20 settembre TypeSafe ha aperto le iscrizioni a tutti, salvo sospenderle due giorni dopo per l’eccesso di richieste. Jev resta comunque raggiungibile tramite l’AI Gateway di Vercel allo stesso prezzo.
Dove si inserisce negli agenti
L’uso più naturale di Jev è quello di “if intelligente”, nei punti del software in cui serve un giudizio che le regole scritte a mano non riescono a esprimere. Nei sistemi agentici i casi principali sono tre. Il primo è il routing: decidere se una richiesta ha bisogno di un modello potente e costoso, se basta un modello veloce o se va passata a una persona; LangChain ha già pubblicato un middleware che usa Jev proprio per scegliere il modello in base a criteri definiti dallo sviluppatore. Il secondo sono i guardrail: prima che un agente esegua una tool call o un comando da terminale, Jev può classificarlo come sola lettura, reversibile o irreversibile, e una confidenza bassa diventa il segnale per chiedere conferma a un umano. Il terzo è la verifica: controllare se una risposta generata da un LLM è coerente con la fonte, o se un task è davvero completato.
I primi riscontri in produzione sono incoraggianti, anche se autodichiarati. Metaview, piattaforma di recruiting, riferisce di aver integrato Jev in tutti i suoi agenti in un fine settimana, con ricerche di candidati circa dieci volte più veloci a parità di accuratezza.
Cosa significa per chi orchestra modelli AI
Jev va letto come un componente complementare agli LLM. Nelle pipeline agentiche una parte consistente delle chiamate a un modello di frontiera serve a prendere piccole decisioni: classificare, instradare, dare un punteggio, verificare. Il risparmio possibile dipende da quanto pesa questa quota. Se un’azienda spende 8.000 euro al mese in chiamate AI e il 40% riguarda decisioni di questo tipo, spostarle su un percorso che costa il 5% di quello attuale fa risparmiare circa 3.000 euro al mese, il 38% della spesa. Se le decisioni pesano il 10%, il risparmio non può superare il 10% nemmeno azzerando il costo di quelle chiamate.
Per le aziende europee resta poi la questione della residenza dei dati: l’infrastruttura di TypeSafe è negli Stati Uniti e il servizio diretto offre la zero data retention solo ai clienti enterprise.
L’idea di fondo è molto interessante per chi, come noi di ModelHive, lavora sull’orchestrazione di modelli diversi: usare lo strumento giusto per ogni passaggio, con un modello generativo dove serve ragionare o scrivere e un modello decisionale veloce ed economico dove basta scegliere. Continueremo a seguire Jev e i prossimi System One model, che presto potrebbero arrivare anche dai grandi laboratori.
Lascia un commento