llama.cpp su SpacemiT: cosa abilita il repack MXFP4

In breve: llama.cpp b12210 abilita un percorso prima disattivato: il repack MXFP4 per MUL_MAT denso può usare i kernel IME2 M1/M4 di SpacemiT. Non rende questo percorso disponibile su qualsiasi CPU: servono IME2 abilitato, pesi 2D allineati e dimensioni multiple di 32. PR 31776: repack MXFP4 e accelerazione IME2 su SpacemiT.

Analisi della PR 31776, del diff e della prerelease ufficiale. Nessuna compilazione, inferenza o misura prestazionale è stata eseguita qui; i numeri citati sono quelli pubblicati dal contributore.

Che cosa cambia rispetto al backend precedente?

Il backend conteneva già codice di repack MXFP4 e kernel IME2 M1/M4, ma il selettore e il dispatch densi erano disattivati e il wrapper sceglieva l’implementazione scalare. La patch connette il percorso accelerato esistente; aggiorna anche le asserzioni sulle righe residue e l’elenco dei registri modificati dall’assembly. La novità è quindi l’attivazione effettiva di un percorso specifico, non un nuovo formato di modello.

PR 31776: repack MXFP4 e accelerazione IME2 su SpacemiT · Diff ufficiale: selettore, dispatch e kernel IME2.

Quali condizioni deve rispettare il modello?

Il selettore richiede pesi bidimensionali, entrambe le dimensioni divisibili per 32 e l’uso di IME2 attivo. Per MXFP4 il backend rifiuta inoltre un input destro non contiguo. Avere un file GGUF o una CPU RISC-V non basta a soddisfare queste condizioni: prima di attribuire i risultati al kernel occorre verificare che il runtime selezioni davvero il repack previsto.

Diff ufficiale: selettore, dispatch e kernel IME2.

Come leggere il benchmark SpacemiT senza generalizzarlo?

Il contributore confronta due revisioni con un Mamba-1 130M derivato che contiene 48 proiezioni MXFP4. Riporta pp128 da 25,33 a 135,59 token/s e tg128 da 21,47 a 58,48 token/s, usando la mediana di tre confronti alternati. Sono risultati dichiarati su SpacemiT K3, otto thread e CPU-only; prompt processing e generazione sono due misure distinte, non un unico moltiplicatore trasferibile ad altri modelli.

PR 31776: repack MXFP4 e accelerazione IME2 su SpacemiT.

Quando ha senso provare b12210?

La PR è stata aperta il 6 novembre e integrata l’8 novembre 2026; b12210 è pubblicata come prerelease, non come versione stabile. La verifica pratica ha senso su un ambiente SpacemiT IME2 compatibile e isolato dal servizio in produzione. Un confronto utile mantiene identici checkpoint, thread, contesto e impostazioni di repack e conserva una revisione precedente per il ritorno allo stato iniziale.

PR 31776: repack MXFP4 e accelerazione IME2 su SpacemiT · llama.cpp b12210, prerelease dell’8 novembre 2026 · Commit integrato b65bf692: attivazione del percorso MXFP4.

Condizioni e limitazioni

Il test upstream usa SpacemiT K3 con core CPU A100, otto thread e un Mamba-1 130M derivato, misto MXFP4/F16. A100 qui non indica una GPU NVIDIA. Non abbiamo riprodotto il benchmark.