L’ANALISI
K2 Horizon 7B e 32B in FP8: cosa si scarica e dove serve cautela
IFM aggiunge due varianti FP8 pronte da scaricare. Il delta riduce l’ingombro dei pesi su hardware compatibile, ma non sostituisce ancora una ricetta FP8 validata e indipendente.
In breve: i pesi FP8 del 7B e del 32B Stage 1 sono realmente disponibili in safetensors. Sono utili soprattutto su acceleratori con supporto FP8, ma le schede non offrono ancora un percorso FP8 coerente end to end per riprodurre prestazioni e qualità.
Che cosa è diventato disponibile
Il 7B FP8 usa un singolo safetensors; il 32B FP8 è diviso in due shard con indice. Entrambi includono configurazione, tokenizer, template chat e codice remoto del modello.
Come è applicato FP8
IFM descrive pesi statici FP8 con una scala per blocco 128×128 e attivazioni dinamiche con una scala per gruppo 1×128. lm_head resta escluso dalla quantizzazione.
Dove può cambiare il costo
Il vantaggio dichiarato è minore memoria e inferenza più rapida su hardware FP8. Non equivale a un beneficio universale: backend, kernel, conversioni e KV cache possono ridurre o annullare il guadagno.
Il caso 32B richiede più cautela
La variante 32B corrisponde allo Stage 1 e la scheda indica che il checkpoint finale arriverà dopo. La ricetta di serving mostrata usa inoltre il repository BF16 con due H200, quindi non prova il percorso FP8.
Condizioni e limitazioni
I benchmark sono del produttore e non separano in modo completo BF16 e FP8. Le schede richiedono trust_remote_code; il contesto dichiarato di 512K non dimostra qualità o costo sostenibile alla lunghezza massima.
Checklist pratica
- Fissare lo SHA del repository e revisionare il codice remoto prima del serving.
- Confrontare FP8 e BF16 con gli stessi prompt, seed, backend e limiti di output.
- Misurare VRAM, latenza iniziale, token al secondo e qualità dei tool call.
- Verificare che GPU e kernel supportino davvero il percorso FP8 dichiarato.
- Per il 32B distinguere Stage 1 dal futuro checkpoint finale.
- Conservare log, revisioni e configurazioni per rendere il test ripetibile.