L’ANALISI
llama.cpp b11717: Q1 e Q2 di Bonsai-2 diventano usabili su Hexagon
Analisi pratica di llama.cpp b11717: supporto Hexagon per Q1_0 e Q2_0, Bonsai-2 su Snapdragon, pacchetti disponibili, limiti e checklist di test.
In breve: b11717 chiude un vuoto funzionale del backend Hexagon: le quantizzazioni Q1_0 e Q2_0 di Bonsai-2 ora dispongono delle operazioni Hadamard necessarie per moltiplicazione di matrici e lettura delle righe, nei layout flat e tiled. Il modello diventa quindi eseguibile nel percorso Snapdragon dichiarato dal progetto, ma la prerelease non dimostra ancora il vantaggio reale di memoria o velocità sul proprio dispositivo.
Che cosa cambia nella build b11717
Il commit incluso nella prerelease aggiunge al backend Hexagon le varianti Hadamard di `MUL_MAT` e `GET_ROW` per Q1_0 e Q2_0. La modifica copre sia i tensori flat sia quelli tiled e riduce inoltre il numero di pacchetti in alcuni passaggi del quantizzatore q8_1 e del prodotto vettoriale q1.
Perché riguarda Bonsai-2
Il pull request indica che il supporto di base a Q1_0 e Q2_0 era già entrato nel progetto, ma mancavano queste operazioni per completare il percorso. Con b11717 il progetto considera pienamente utilizzabili le varianti Q1 e Q2 di Bonsai-2 sul backend Hexagon.
Quali pacchetti si possono scaricare
La release pubblica pacchetti Snapdragon arm64 sia per Linux sia per Android, entrambi descritti come combinazione di CPU, GPU Adreno e NPU Hexagon. Sono disponibili anche gli altri pacchetti standard di llama.cpp, ma il delta di questa build interessa in modo specifico il backend Hexagon.
Che cosa cambia per memoria e prestazioni
Q1 e Q2 riducono il peso dei parametri rispetto a Q4 e precisioni superiori, ma il contributo avverte che servono ulteriori ottimizzazioni per trasformare la minore impronta DDR in un vantaggio pieno. La disponibilità funzionale non equivale quindi a una promessa di velocità, qualità o autonomia energetica.
Confine tra supporto e prova reale
La release e il pull request provano che il codice e i pacchetti sono disponibili. Non forniscono però benchmark completi su telefoni o dev kit specifici, né misure confrontabili di token al secondo, RAM, temperatura e consumo per Bonsai-2 Q1, Q2 e Q4.
Quando vale la pena provarla
Il test è rilevante per chi usa Snapdragon con accesso al backend Hexagon e vuole ridurre l’impronta di memoria di un modello compatibile. In produzione conviene attendere almeno una prova ripetibile sul dispositivo target e considerare che b11717 è marcata come prerelease.
Condizioni e limitazioni
È una prerelease e il contributo dichiara ancora necessario altro lavoro per sfruttare meglio la minore pressione sulla memoria DDR rispetto a Q4 e formati superiori. Questo run ha verificato codice, release e pacchetti ufficiali, ma non ha eseguito Bonsai-2 su un dispositivo Snapdragon con NPU Hexagon.
Checklist pratica
- Registrare modello Snapdragon, sistema operativo, driver e versione del pacchetto b11717.
- Scaricare il pacchetto ufficiale Snapdragon corretto per Linux o Android e verificarne provenienza e attestazione.
- Usare esattamente i file Bonsai-2 Q1_0 e Q2_0 compatibili con la build e annotarne hash e dimensione.
- Confermare dai log che l’esecuzione usa davvero il backend Hexagon e non un fallback CPU o Adreno.
- Eseguire lo stesso prompt e la stessa lunghezza di generazione su Q1, Q2 e almeno una variante Q4.
- Misurare memoria DDR, token al secondo, tempo al primo token, temperatura e consumo energetico.
- Confrontare qualità e stabilità degli output prima di scegliere la quantizzazione per un servizio reale.