Thinking Machines Lab, il laboratorio fondato dall'ex responsabile della tecnologia di OpenAI Mira Murati, ha rilasciato il 30 luglio 2026 Inkling-Small, la versione compatta e a pesi aperti del suo primo modello di base. La notizia che fa alzare il sopracciglio è nei numeri: Inkling-Small, con appena 12 miliardi di parametri attivi, supera il fratello maggiore — un modello ben più grande — su uno dei benchmark di programmazione più rispettati, a una frazione del costo.

Un modello piccolo che ne batte uno enorme

Inkling-Small è un modello Mixture-of-Experts (MoE) da 276 miliardi di parametri totali ma solo 12 miliardi attivi a ogni richiesta: la solita idea di attivare solo la parte di rete che serve, per tenere bassi costo e latenza. Il dato che colpisce è il punteggio su SWE-Bench Verified, il test che misura la capacità di risolvere problemi reali di software: Inkling-Small ottiene l'80,2%, superando il 77,6% del modello Inkling completo, che di parametri ne ha molti di più. Sull'indice di intelligenza di Artificial Analysis si posiziona a quota 40, a un punto dal fratello maggiore pur usando meno di un terzo dei parametri. È nativamente multimodale (testo, immagini, audio), con architettura encoder-free, sforzo di ragionamento regolabile e finestra di contesto fino a un milione di token.

Con 12 miliardi di parametri attivi Inkling-Small supera modelli molto più grandi su SWE-Bench.

Quanto costa e dove si scarica

Il prezzo via API è tra i punti di forza: circa 0,30 dollari per milione di token in ingresso e 1,20 dollari per milione in uscita, cioè tre-quattro volte meno del modello Inkling completo. Ma la carta vincente è la licenza a pesi aperti: i checkpoint per testo, immagini e audio sono scaricabili e ri-addestrabili. Il modello è affinabile su Tinker, la piattaforma di fine-tuning di Thinking Machines, e gode del supporto vLLM dal primo giorno, il che significa poterlo servire in locale con prestazioni elevate senza aspettare patch della community.

Come provarlo: da vLLM al fine-tuning

Per chi vuole eseguirlo su una propria macchina con GPU adeguata, il percorso più rapido passa da vLLM. Una volta scaricati i pesi dal repository ufficiale su Hugging Face, si avvia un server compatibile con le API di OpenAI con un comando come questo:

pip install vllm
vllm serve thinking-machines/inkling-small \
  --tensor-parallel-size 2 \
  --max-model-len 32768

Da quel momento il modello risponde su http://localhost:8000/v1 e si interroga con una normale chiamata in stile OpenAI:

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="local")
r = client.chat.completions.create(
    model="thinking-machines/inkling-small",
    messages=[{"role": "user", "content": "Scrivi una funzione Python che verifica se una stringa e' un palindromo, ignorando spazi e maiuscole."}],
)
print(r.choices[0].message.content)

Il risultato atteso è una funzione corretta e commentata, tipicamente con normalizzazione della stringa e confronto con la versione invertita. Per l'affinamento su un proprio dominio si usa invece la piattaforma Tinker, pensata proprio per specializzare Inkling su dati aziendali.

Il supporto vLLM dal primo giorno consente di servire il modello in locale con alte prestazioni.

A chi conviene e la scommessa di Thinking Machines

Inkling-Small è interessante soprattutto per chi sviluppa strumenti di programmazione, agenti e applicazioni che devono girare a basso costo o in ambienti controllati, dove i pesi aperti permettono di ospitare il modello sui propri server senza inviare dati a terzi. La filosofia del laboratorio è dichiarata: contro l'idea del «modello unico che va bene per tutto», Thinking Machines punta su modelli aperti e specializzabili, da adattare al singolo caso d'uso. In un mercato in cui i modelli aperti — da DeepSeek a Qwen fino a Kimi — battono sempre più spesso i colossi chiusi su compiti mirati, è una scommessa che ha basi solide. Prestazioni e prezzi sono dichiarati da Thinking Machines e riportati da Artificial Analysis e TechCrunch.