L’ANALISI
DeepSeek V4.1 Flash in GGUF: 12 GB di VRAM non bastano da soli
ISTA-DASLab distribuisce DeepSeek V4.1 Flash in GGUF GSQ-RCO: dimensioni reali, ruolo di RAM e SSD, benchmark dichiarati e limite attuale di llama.cpp.
In breve: Il rilascio rende scaricabili GGUF standard tra 231,32 e 265,83 GB per un MoE da 763,2 miliardi di parametri. La GPU può avere 12 GB di VRAM perché Strata sposta il backbone in memoria di sistema e mappa le tabelle Engram da SSD. Questo non riduce il requisito complessivo a 12 GB e, al 23 ottobre, llama.cpp non esegue ancora DeepSeek V4.1.
Che cosa è stato pubblicato
Il repository contiene tre backbone divisi in quattro shard e un file Engram condiviso. IQ1_M usa 1,75 bit per peso per il backbone e totalizza 231,32 GB; IQ2_XXS usa 2,00 bit e totalizza 248,84 GB; IQ2_XS usa 2,25 bit e arriva a 265,83 GB.
GSQ e RCO cambiano precisione tensore per tensore
GSQ quantizza ogni tensore su griglie scalari apprese, mentre RCO assegna tipi di quantizzazione differenti sotto un budget totale. L’obiettivo è spendere più precisione sui tensori sensibili e meno sugli altri, invece di applicare la stessa regola a tutto il modello.
Perché 12 GB di VRAM non descrivono la macchina
La model card specifica che Strata mantiene il backbone nella memoria di sistema e lascia le tabelle Engram mappate su SSD. Servono quindi RAM capiente, storage veloce e margine operativo; la sola scheda video da 12 GB non rende il modello adatto a un computer ordinario.
Benchmark dichiarati e punto operativo
ISTA-DASLab riporta IQ2_XXS allo stesso task average del checkpoint base su AIME25, GPQA-Diamond e LiveCodeBench v6 con reasoning effort 50. IQ1_M conserva il 98,7% della media dichiarata. Sono risultati del progetto, non una replica indipendente, e IQ2_XS non ha ancora una riga misurata.
Runtime e compatibilità
Il percorso documentato oggi usa Strata con endpoint compatibile OpenAI in locale. La scheda avverte che llama.cpp non supporta ancora DeepSeek V4.1; i comandi llama.cpp presenti sono preparatori per un supporto futuro e non vanno interpretati come una procedura già funzionante.
Condizioni e limitazioni
12 GB indica la VRAM della GPU, non la memoria totale richiesta: il backbone resta in RAM di sistema e le tabelle Engram vengono mappate da SSD. I benchmark sono del produttore, IQ2_XS non ha ancora risultati pubblicati e la model card contiene sezioni operative ancora marcate TBD. Non è un modello pratico per un normale PC con 12 GB di memoria complessiva.
Checklist pratica
- Verificare almeno 270 GB liberi più margine per cache e file temporanei.
- Misurare RAM di sistema disponibile, non soltanto VRAM della GPU.
- Usare SSD e controllare temperatura, usura e throughput durante il memory mapping.
- Scaricare un solo backbone e il file Engram condiviso, registrando revisione e checksum.
- Avviare il test con Strata e rete locale, senza esporre l’endpoint.
- Ripetere prompt e benchmark su un campione proprio prima di accettare i risultati dichiarati.
- Non usare i comandi llama.cpp finché il supporto DeepSeek V4.1 non è effettivamente integrato.