Vai al contenuto

llama.cpp b12432 usa l'indice delle posizioni per rimuovere celle KV. Il microbenchmark riguarda il rollback, non i token al secondo.

L’ANALISI

llama.cpp: rimozione delle sequenze KV più mirata

llama.cpp b12432 usa l'indice delle posizioni per rimuovere celle KV. Il microbenchmark riguarda il rollback, non i token al secondo.

3 min di letturaFatti, limiti e fonti primarie
Pagina ufficiale della release llama.cpp b12432 con la modifica alla rimozione delle celle KV
Release b12432 sul repository ufficiale llama.cpp: la nota identifica la rimozione della scansione completa della cache KV.

In breve: llama.cpp b12432 rende più mirata la rimozione delle celle KV di una sequenza. La PR usa l'indice delle posizioni per visitare l'intervallo interessato; il microbenchmark dell'autore misura questa routine, non l'inferenza completa. llama.cpp b12432: release e stato prerelease.

Metodo: Lettura della release REST, della PR 32380 e del diff. Nessuna compilazione, inferenza o misura indipendente è stata eseguita per questa nota.

Quale operazione cambia?

La PR sostituisce la scansione di tutte le celle con una visita dell'indice ordinato per posizione, dall'inizio alla fine dell'intervallo richiesto. Il diff mantiene la ricerca della cella liberata con indice più basso. Sono dettagli della gestione dello stato: non significano che il modello acquisisca più contesto o riduca automaticamente la memoria allocata. PR 32380: indice delle posizioni e protocollo del microbenchmark.

Che cosa misura il microbenchmark?

L'autore descrive il rollback delle ultime quattro posizioni su Ryzen 7 5800X, con compilazione O2, un core e mediana di 2.000 esecuzioni. Il confine del risultato è quindi una funzione e uno scenario specifico. Prima di usarlo in una decisione di aggiornamento occorre chiedersi quante volte quella funzione pesi davvero sul proprio carico. PR 32380: indice delle posizioni e protocollo del microbenchmark.

Perché la correttezza viene prima del tempo?

Il diff aggiunge casi per intervalli, sequenze condivise, celle liberate e posizioni ripetute. Nella verifica proposta, questi casi vanno controllati prima di confrontare i tempi: un'operazione veloce che rimuove lo stato sbagliato non sarebbe un miglioramento. La presenza dei test nel repository non dimostra che siano stati eseguiti sul sistema del lettore. Diff della PR 32380: implementazione e casi di test.

Come impostare un confronto riproducibile?

Protocollo suggerito: conserva una build precedente e una build con il commit 21fa9c043f0e4f574b36cd06cff4b4bce64ec76f. Usa lo stesso modello e la stessa dimensione di contesto; separa il tempo della routine, la latenza della richiesta e i token al secondo. Se il carico non esercita rollback simili, registra anche quel risultato: non serve forzare il benchmark per ottenere un vantaggio. Diff della PR 32380: implementazione e casi di test.

Condizioni e limitazioni

b12432 è una prerelease. I tempi pubblicati sono dell'autore su una routine isolata; non provano un aumento dei token al secondo né un beneficio su ogni configurazione.

Checklist pratica

  • Annota tag, commit e opzioni delle due build confrontate.
  • Mantieni invariati modello, quantizzazione e contesto.
  • Verifica la correttezza di rimozione, condivisione e riuso delle celle.
  • Misura separatamente rollback, latenza complessiva e throughput.
  • Conserva la build precedente finché il carico reale non supera il controllo.

Fonti primarie

Radar AI · a cura di Francesco Gruner

Chiedi al sito.

Assistente OpenAI

Le domande vengono inviate a OpenAI. Non inserire dati personali o riservati. Privacy.

Verifica le risposte nelle fonti. 16 messaggi al giorno per rete.

Cosa cerchi? Ti indico le pagine utili.