L’ANALISI
Strata prova a rendere Qwen3.8-Flash-Next pratico su un PC da gaming
Come funziona Strata, quali compromessi usa per eseguire un modello da 125B su GPU consumer e che cosa controllare prima di installarlo.
In breve: Strata combina quantizzazioni molto spinte, caricamento tra VRAM e RAM e un motore derivato da llama.cpp per esporre Qwen3.8-Flash-Next tramite API locali. È una strada concreta per sperimentare un modello grande su un PC con almeno 12 GB di VRAM, ma i numeri pubblicati sono del progetto e non sostituiscono una prova sulla propria scheda, sul proprio prompt e con la quantizzazione scelta.
Che cosa offre il progetto
Strata distribuisce un motore locale e pacchetti Windows e Linux per eseguire Qwen3.8-Flash-Next. Espone endpoint compatibili con OpenAI e Anthropic, così applicazioni e agenti possono puntare a localhost.
Come entra un modello da 125B in una macchina consumer
Il progetto usa quantizzazioni tra Q2 e IQ3 e suddivide i pesi tra VRAM e RAM. Il requisito minimo dichiarato è una GPU NVIDIA o AMD con 12 GB di VRAM, 32 GB di RAM e circa 80 GB su SSD.
Che cosa dicono i numeri pubblicati
Su RTX 5070 il progetto riporta 94 token/s con Q2_0 e 53 con IQ3_S; su RX 9070 XT riporta 60 e 52 token/s per Q2_0 e IQ2_XS. Sono misure dell’autore su prompt da 32K e risposte da 4K.
API locali e confine operativo
L’API resta locale, ma gli agenti collegati possono avere strumenti e accesso di rete propri. Eseguire il modello in locale riduce l’invio dei prompt a un provider, non rende automaticamente locale o sicuro l’intero workflow.
Condizioni e limiti
Le quantizzazioni più aggressive possono cambiare qualità e stabilità. Driver, GPU, RAM, contesto e concorrenza influenzano i risultati. Il progetto è giovane e il test end-to-end sul nostro hardware non è stato eseguito.
Checklist prima dell’installazione
- Verificare GPU supportata, almeno 12 GB di VRAM e driver aggiornato.
- Riservare almeno 32 GB di RAM e circa 80 GB su SSD.
- Confrontare qualità e velocità su prompt reali.
- Limitare l’API a localhost.
- Misurare RAM, VRAM e qualità con lo stesso test.
- Separare il modello locale dai permessi degli agenti collegati.
- Fissare versione, hash e modello scaricato.