L’ANALISI
Bonsai 2 27B: pesi ternari, formati locali e limiti da verificare
PrismML pubblica Bonsai 2 27B con 1,76 bit effettivi per peso, footprint dichiarato di 5,9 GB, licenza Apache 2.0 e varianti GGUF e MLX.
In breve: È un rilascio scaricabile, non solo un annuncio: la promessa è portare un 27B multimodale su macchine con molta meno memoria, mantenendo formati compatibili con runtime locali.
Compressione ternaria
Il modello usa pesi ternari e dichiara 1,76 bit effettivi per peso, con un file molto più piccolo del riferimento.
Formati disponibili
La collezione ufficiale include varianti GGUF e MLX per diversi percorsi di inferenza locale.
Licenza e riuso
Apache 2.0 consente sperimentazione e impiego commerciale, ferme restando le dipendenze e le policy dei runtime.
Condizioni e limiti
Footprint del file non coincide con RAM totale; cache KV, contesto e backend cambiano il requisito effettivo.
Checklist pratica
- Scaricare solo dalla collezione ufficiale.
- Registrare quantizzazione e runtime.
- Misurare RAM, tok/s e qualità sullo stesso prompt set.
- Confrontare con Qwen3.8 27B non compresso.