L’ANALISI
Mistral Large 4: cosa verificare prima del self-hosting
Una procedura per valutare checkpoint, NVFP4, licenza e costo operativo di Mistral Large 4 prima di scegliere il self-hosting.
In breve: Il nuovo elemento è il controllo sui pesi. Prima di adottarli conviene verificare insieme compatibilità del runtime, memoria e condizioni commerciali: il download da solo non dimostra che il servizio sia sostenibile.
Il delta rispetto alla preview
Il rilascio del 29 ottobre rende scaricabile una versione migliorata del modello già presentato in preview. Va quindi confrontato il checkpoint effettivo, non soltanto il nome commerciale, con ciò che era disponibile prima.
Parametri attivi e memoria sono domande diverse
La model card descrive circa un trilione di parametri totali e 52 miliardi attivi, includendo embedding e output, con contesto fino a un milione di token. Per il dimensionamento proposto qui, separare spazio su disco, caricamento dei pesi, cache del contesto e concorrenza. Non ricavare la VRAM dal solo numero di parametri attivi.
Quando valutare la variante NVFP4
Il checkpoint quantizzato ufficiale è rivolto alle GPU Blackwell e documenta percorsi vLLM e SGLang. Il primo confronto dovrebbe fissare modello, prompt e contesto: misurare consumo, errori e qualità prima di attribuire alla quantizzazione un vantaggio per il proprio carico.
La decisione non è soltanto API contro locale
Proposta di valutazione: confrontare self-hosting e servizio gestito sullo stesso insieme di compiti, includendo manutenzione, capacità inutilizzata, monitoraggio e ripristino. Un modello eseguito su una propria macchina e uno acquistato via API sono confini operativi diversi; questa analisi non fornisce un benchmark di costo.
La clausola da leggere prima di offrire un servizio
La licenza distingue il Model-as-a-Service da usi interni e specifiche funzionalità integrate in prodotti finali. Per un’offerta al pubblico, sottoporre il caso concreto a chi valuta i contratti: non assumere che ogni wrapper sia esente o che ogni applicazione sia un MaaS.
Condizioni e limitazioni
Open weight non equivale a licenza MIT senza condizioni: il Model-as-a-Service richiede un accordo commerciale separato. Non è stato eseguito un test locale del checkpoint.
Checklist pratica
- Fissare repository e revisione del checkpoint, senza affidarsi al solo alias.
- Leggere LICENSE prima di progettare un’offerta commerciale.
- Verificare il supporto del runtime e dell’hardware scelti.
- Stimare memoria per pesi, contesto e concorrenza con un test controllato.
- Misurare qualità e latenza su compiti propri con dati non sensibili.
- Conservare configurazione precedente e percorso di rollback.