Vai al contenuto

llama.cpp b12433 corregge un arresto AMD con LoRA di rango 1 sui pesi MoE. I test dichiarati usano R9700 e ROCm 10.1.0, non ogni GPU.

L’ANALISI

llama.cpp: fix AMD per LoRA di rango 1 sui MoE

llama.cpp b12433 corregge un arresto AMD con LoRA di rango 1 sui pesi MoE. I test dichiarati usano R9700 e ROCm 10.1.0, non ogni GPU.

3 min di letturaFatti, limiti e fonti primarie
Release ufficiale llama.cpp b12433 sul fix MUL_MAT_ID per forme dispari su AMD
La release b12433 descrive il caso AMD con colonne dispari e il fallback per LoRA di rango 1 sui pesi MoE.

In breve: llama.cpp b12433 evita un arresto del percorso AMD con alcune forme dispari di MUL_MAT_ID, incluse LoRA di rango 1 sugli esperti MoE. Non è un'accelerazione generale: il cambiamento instrada quei casi verso il fallback esistente. llama.cpp b12433: correzione AMD MUL_MAT_ID.

Metodo: Analisi della release, della PR 32385 e delle due modifiche nel diff. I test hardware sono dichiarazioni dell'autore della PR, non prove svolte da Francesco.

Quando si presentava l'arresto?

La PR descrive batch fino a otto token con src0 F32, F16 o BF16 su AMD. Il percorso MMVF legge coppie di valori e richiede colonne pari; una LoRA di rango 1 sugli esperti produce invece una dimensione dispari. L'etichetta cuda nel titolo della modifica indica il file condiviso interessato: la condizione descritta è specifica per AMD. PR 32385: condizioni del difetto, test e limiti hardware.

Che cosa modifica il dispatch?

La scelta di MMVF ora controlla che il numero di colonne sia pari; il controllo di sincronizzazione segue la stessa condizione. Per le forme dispari rimane il percorso per esperto già presente. Il diff non giustifica promesse di maggiore velocità o di compatibilità universale degli adattatori: risolve un caso di instradamento preciso. PR 32385: condizioni del difetto, test e limiti hardware.

Quali prove sono disponibili e quali mancano?

L'autore dichiara prove HIP su Radeon AI PRO R9700, gfx1201, con ROCm 10.1.0, e due nuovi casi in test-backend-ops. Dichiara inoltre di non avere provato il modello da 24B e l'adattatore originali dell'issue, gfx908 e dispositivi NVIDIA. Il risultato documentale è utile per scegliere un test, non per certificare il proprio hardware. Diff della PR 32385: dispatch e casi di regressione.

Come provare il fix senza cambiare la produzione?

Protocollo suggerito: prepara due build isolate e usa lo stesso modello con l'adattatore che hai diritto di eseguire. Registra prima l'eventuale assert, poi l'output e infine i tempi. Mantieni un caso di controllo senza adattatore e uno con rango pari. Se cambia anche il driver, il confronto non isola più questa patch e va descritto come tale. Diff della PR 32385: dispatch e casi di regressione.

Condizioni e limitazioni

Prerelease e prove dichiarate dall'autore su R9700/ROCm 10.1.0. Nessuna verifica qui su hardware AMD, sul modello da 24B o sull'adattatore originale dell'issue.

Checklist pratica

  • Identifica backend HIP, GPU, versione ROCm e commit.
  • Controlla rango e tensori interessati dall'adattatore.
  • Esegui prima i casi MUL_MAT_ID in un ambiente isolato.
  • Confronta arresti e output prima di parlare di prestazioni.
  • Non estendere il risultato R9700 a GPU o adattatori non provati.

Fonti primarie

Radar AI · a cura di Francesco Gruner

Chiedi al sito.

Assistente OpenAI

Le domande vengono inviate a OpenAI. Non inserire dati personali o riservati. Privacy.

Verifica le risposte nelle fonti. 16 messaggi al giorno per rete.

Cosa cerchi? Ti indico le pagine utili.