L’ANALISI
K2 Horizon 375B: cosa cambia con il checkpoint finale scaricabile
Il modello di punta della famiglia K2 Horizon passa dall’annuncio al download dei pesi finali, ma il serving completo resta un’operazione da infrastruttura multi-GPU.
In breve: K2 Horizon 375B-A23B è ora un artefatto scaricabile, non solo un annuncio: il repository contiene il checkpoint finale BF16, configurazione, tokenizer e codice personalizzato. Per eseguirlo integralmente, però, la ricetta verificata indica otto H200 e software aggiornato.
Che cosa è stato pubblicato
Il repository contiene il checkpoint finale BF16 suddiviso in 61 shard safetensors, configurazione, tokenizer, template chat, codice personalizzato e dati di validazione. La revisione osservata l’11 settembre rende operativo il rilascio annunciato il 3 settembre.
Architettura e contesto
La model card descrive un Mixture-of-Experts da 375 miliardi di parametri totali e circa 23 miliardi attivi per token, con 192 esperti e 8 selezionati per token. Il contesto nativo dichiarato è 524.288 token, mentre la ricetta vLLM mostrata limita il serving a 131.072 token.
Come si serve davvero
IFM indica vLLM con tensor parallelism 8 ed expert parallelism, oppure SGLang su un nodo con otto H200. La documentazione SGLang specifica BF16, FlashAttention-3, parser dedicati per reasoning e tool calling e una revisione fissata per la prova.
Condizioni e limiti
Il repository richiede trust_remote_code e il modello completo usa centinaia di gigabyte di pesi. I benchmark IFM e SGLang sono utili per definire condizioni di prova, ma non dimostrano costi, qualità in italiano, robustezza degli agenti o prestazioni su hardware diverso.
Checklist prima del deployment
- Fissare la revisione del repository e verificare gli hash dei 61 shard.
- Calcolare spazio disco, memoria GPU, cache KV e margine per il contesto scelto.
- Usare una versione vLLM o SGLang che supporti K2 Horizon e il codice remoto.
- Abilitare separatamente i parser di reasoning e tool calling richiesti dal carico.
- Ripetere test su italiano, codice, strumenti e dati non sensibili.
- Misurare latenza, throughput, errori e costo sul proprio hardware prima della produzione.