Bonsai 27B: un modello IA che gira in 4 GB di RAM

Nella raffica di modelli aperti usciti tra fine luglio e inizio agosto 2026, uno spicca per una ragione controintuitiva: non è il più grande, ma il più leggero a parità di capacità. Bonsai 27B, sviluppato da Prism ML, è un modello da 27 miliardi di parametri che, grazie alla quantizzazione a un bit, riesce a girare in circa 4 GB di memoria, con prestazioni che l'azienda dichiara paragonabili a un modello di riferimento come Qwen 3.6. Tradotto: qualità da modello medio-grande su un portatile qualsiasi.

Perché un bit cambia tutto

I modelli linguistici tradizionali memorizzano ogni parametro con numeri a 16 bit. Le tecniche di quantizzazione riducono questa precisione per far entrare il modello in meno memoria: si scende a 8, 4 e ora persino a 1 bit per peso. Bonsai adotta questa strada estrema, con una variante a un bit e una a «pesi ternari» (in pratica ogni parametro può valere -1, 0 o +1). Meno bit significano molta meno memoria e, spesso, un'inferenza più veloce sulla CPU. La sfida tecnica è non perdere troppa qualità nel processo: è qui che i modelli progettati fin dall'inizio per la bassa precisione, sulla scia della ricerca su architetture come BitNet, stanno facendo passi avanti.

Il risultato pratico è notevole. Un modello che occupa circa 4 GB può essere eseguito su un PC portatile con memoria modesta, senza scheda grafica dedicata, del tutto offline. È la direzione che rende l'IA locale finalmente accessibile a chi non ha hardware costoso.

A chi serve un modello così

Un modello locale e leggero è interessante per tre profili. Chi ha esigenze di privacy e non vuole inviare i propri dati a servizi esterni. Chi vuole integrare l'IA in applicazioni che devono funzionare senza connessione o su dispositivi con poca memoria. E chi, semplicemente, vuole sperimentare senza pagare API né dipendere da un fornitore. Il compromesso è chiaro: un modello da 4 GB non regge il confronto con i colossi da migliaia di miliardi di parametri sui compiti più complessi, ma per riassunti, riformulazioni, estrazione di informazioni e assistenza alla scrittura offre oggi una qualità sorprendente.

Come scaricarlo da Hugging Face

I pesi di Bonsai sono distribuiti su Hugging Face. Il primo passo è installare lo strumento a riga di comando e scaricare il repository:

pip install -U huggingface_hub
huggingface-cli download PrismML/Bonsai-27B --local-dir ./bonsai-27b

Il nome esatto del repository e delle diverse varianti (a un bit o ternaria) va confermato sulla scheda del modello, che indica anche il formato dei file e il runtime consigliato. I modelli a precisione estrema richiedono infatti un motore di inferenza compatibile: le implementazioni di riferimento derivano dalla famiglia BitNet e da versioni specializzate di llama.cpp. In pratica, dopo il download, si compila o si installa il runtime indicato dagli autori e si lancia il modello puntandolo alla cartella dei pesi.

Un esempio d'uso e cosa aspettarsi

Una volta avviato il server locale, si interagisce con un prompt come questo, adatto a un modello compatto:

Riassumi il testo seguente in 5 punti elenco, in italiano,
mantenendo solo le informazioni verificabili:

[incolla qui un articolo o una mail lunga]

Su un compito di questo tipo — sintesi, riscrittura, estrazione — un modello come Bonsai risponde in pochi secondi anche su CPU, con risultati coerenti. Se invece gli si chiede ragionamento matematico complesso o codice articolato, i limiti della compressione emergono: meglio allora rivolgersi a un modello più grande, locale o via API.

Alternative e consiglio pratico

Chi cerca la strada più semplice, senza compilare nulla, può provare modelli leggeri già impacchettati per Ollama o LM Studio, che offrono un'esperienza pronta all'uso. Bonsai è interessante soprattutto per chi vuole spingere al massimo il rapporto tra qualità e memoria e non teme un po' di configurazione. Il consiglio è di partire da un modello impacchettato per prendere confidenza con l'IA locale, e passare alle varianti a un bit come Bonsai quando serve davvero far girare qualcosa di capace su hardware minimo. La tendenza, in ogni caso, è segnata: i modelli locali diventano ogni mese più leggeri e più bravi.

Le prestazioni dichiarate provengono dagli autori e da rassegne tecniche; verificare requisiti e istruzioni aggiornate sulla scheda ufficiale del modello prima dell'uso.