L’ANALISI
Override RoPE in vLLM e SGLang: quando il runtime cambia il modello
Due bug report aperti documentano una perdita silenziosa di rope_theta negli override runtime. Impatto, confini e controlli pratici prima di estendere il contesto.
In breve: Il problema è specifico ma operativo: ripetere rope_scaling al lancio può sostituire i parametri RoPE e perdere rope_theta, facendo usare la base 10000 senza errore visibile. Le risposte restano plausibili, quindi va controllata la configurazione effettiva del runtime e confrontata con una baseline invariata.
Che cosa si rompe
Con Transformers v5, assegnare rope_scaling a una configurazione già costruita può sostituire rope_parameters invece di integrarli. Se rope_theta scompare e il motore non ha un fallback adatto all’architettura, l’esecuzione può usare la base 10000 al posto del valore dichiarato dal checkpoint.
Le prove disponibili
La issue vLLM riporta Llama 3.2 3B Instruct da 379 a 273 risposte corrette sui primi 500 problemi GSM8K; la riproduzione SGLang passa da 161 a 106 sui primi 200. Sono risultati dell’autore, con script e output pubblici, non ancora una replica indipendente.
Quali esecuzioni sono coinvolte
Il rischio riguarda gli override a launch time che non trasportano rope_theta, non l’uso ordinario di ogni modello. Alcuni fallback per architettura possono nascondere il difetto, mentre checkpoint con basi diverse restano esposti a una configurazione errata.
Stato della correzione
Entrambe le segnalazioni sono aperte e collegate a proposte di modifica. Finché una release non integra e verifica la correzione, un warning o il confronto esplicito dei parametri effettivi è più affidabile dell’assenza di errori.
Limiti e condizioni
I conteggi sui 300 modelli e i benchmark vengono dallo stesso progetto che ha aperto le issue. Non dimostrano un degrado universale e non autorizzano a generalizzare il problema a inferenze senza override.
Checklist pratica
- Registrare versione di motore, Transformers e revisione del modello.
- Stampare rope_parameters e rope_theta dopo l’applicazione degli override.
- Eseguire una baseline senza override sullo stesso modello e dataset.
- Ripetere esplicitamente il valore rope_theta del checkpoint quando necessario.
- Confrontare output, accuratezza e log, non solo la fluidità del testo.
- Seguire le issue e aggiornare solo dopo una release verificata.