L’ANALISI
LFM2.5-VL-DSpark: come verificare l’accelerazione dei VLM su Apple Silicon e H100
Liquid AI pubblica un drafter da 279,5 milioni di parametri per LFM2.5-VL-3B. Cosa cambia, quali runtime servono e come misurare il guadagno reale.
In breve: DSpark aggiunge un piccolo modello di bozza a LFM2.5-VL-3B: propone blocchi di token che il modello principale verifica, preservando l’output in greedy decoding. I checkpoint Safetensors e GGUF sono già scaricabili e funzionano con SGLang, MLX-VLM e llama.cpp, ma i guadagni dichiarati vanno replicati sul proprio hardware e carico.
Che cosa viene rilasciato
LFM2.5-VL-3B-DSpark è un drafter sperimentale da 279,5 milioni di parametri destinato esclusivamente al target LFM2.5-VL-3B. Liquid AI pubblica checkpoint Safetensors e GGUF, così il percorso può essere provato su GPU NVIDIA e Apple Silicon senza addestrare il drafter.
Come funziona la decodifica speculativa
Il drafter usa gli stati nascosti del modello target per proporre fino a otto o nove token. Il target verifica ogni proposta: in greedy decoding l’output resta quello che avrebbe generato il modello principale, mentre con sampling coerente viene preservata la distribuzione del target.
Cosa mostrano i test del produttore
Liquid AI misura, a batch 1 e temperatura zero, accelerazioni di decodifica tra 1,57 e 3,13 volte sui task pubblicati. Il guadagno end-to-end è inferiore perché encoder visivo e prefill non beneficiano allo stesso modo: varia da 1,30 a 2,62 volte nei risultati mostrati.
Runtime, hardware e condizioni
SGLang richiede almeno la versione 0.5.19 su NVIDIA; MLX-VLM almeno 0.7.2 su Apple Silicon e usa attualmente greedy sampling per DSpark; llama.cpp usa il checkpoint GGUF. I risultati dichiarati riguardano H100 80 GB, M5 Max e M3 Ultra, pesi a 16 bit e prompt specifici.
Limiti da non ignorare
Il drafter aggiunge memoria e lavoro di verifica, quindi non ogni prompt o hardware produce un vantaggio. Le misure non sono indipendenti, il modello è dichiarato sperimentale e non è disponibile tramite un Inference Provider gestito: installazione, compatibilità e stabilità restano a carico di chi esegue il test.
Checklist pratica
- Scaricare il target LFM2.5-VL-3B e il drafter corrispondente nello stesso formato.
- Annotare hardware, memoria, versione del runtime e commit o pacchetto installato.
- Eseguire prima la baseline senza opzioni speculative con batch 1 e temperatura zero.
- Ripetere gli stessi prompt, immagini, limite token e warm-up con DSpark attivo.
- Misurare separatamente tempo al primo token, velocità di decodifica e latenza end-to-end.
- Confrontare memoria di picco, stabilità e identità dell’output in greedy decoding.
- Provare task diversi perché accettazione dei token e vantaggio cambiano con il contenuto.
- Conservare comando, log e checksum dei checkpoint per rendere il confronto riproducibile.