L’ANALISI
Cosa cambia in llama.cpp b11374 per OpenVINO, Qwen 3.5 e Gemma 4
Analisi della prerelease llama.cpp b11374: OpenVINO 2026.4.1, fusioni MoE, cache compilata, benchmark su Arc B390 e limiti operativi.
In breve: Il delta concreto riguarda chi esegue modelli MoE con il backend OpenVINO: b11374 aggiunge fusioni e correzioni che rendono utilizzabili percorsi prima lenti o non funzionanti, oltre alla cache diretta dei modelli compilati. Il risultato più vistoso è però legato a una configurazione Intel precisa e non va generalizzato.
Il delta verificato
La b11374 è una prerelease scaricabile con binari per Linux, Windows, macOS, Android e iOS. Il cambiamento centrale aggiorna OpenVINO alla 2026.4.1 e interviene su prestazioni, operazioni, enumerazione dei dispositivi e gestione della memoria.
Cosa cambia per Qwen 3.5
Il backend abilita l’esecuzione stateful per singola sequenza, semplifica la cache del grafo, fonde routing MoE e normalizzazione GDN e aggiunge una modalità cache_only per caricare direttamente un modello già compilato.
Il caso Gemma 4 su Intel Arc
Una nuova fusione gestisce i pesi gate_up combinati di Gemma 4. Nel test dichiarato su Arc B390 con requantizzazione q4_asym64_all, il prefill passa da 66,16 a 1608,73 token al secondo, mentre la generazione cambia da 25,94 a 26,46 token al secondo.
Correzioni operative
La release corregge gli assi dei tensori rank-3 nello stateful, rende esplicito l’errore quando il dispositivo OpenVINO richiesto non esiste e usa il contesto OpenCL della piattaforma selezionata invece del primo disponibile.
Come leggere il benchmark
Il salto di prefill deriva dalla fusione MoE e non si applica senza l’opzione di requantizzazione indicata, su CPU o sui modelli con pesi gate e up separati. La velocità di generazione resta quasi invariata nel test stateless.
Condizioni e limiti
La release è marcata prerelease. Gli autori segnalano due test MUL_MAT_ID già falliti alla base, una deriva ripetitiva di Gemma 4 su OpenVINO e la perdita della fusione prefill quando si attiva lo stateful.
Checklist per una verifica
- Fissare esattamente la build b11374.
- Installare OpenVINO 2026.4.1 e verificare il dispositivo selezionato.
- Registrare modello, quantizzazione e variabili GGML_OPENVINO.
- Eseguire prima un confronto di correttezza stateless.
- Misurare separatamente prefill e generazione.
- Ripetere il test con e senza fusione MoE.
- Provare lo stateful solo come percorso opt-in.
- Annotare test falliti e qualità dell’output, non solo i token al secondo.