llama.cpp: strumenti e JSON senza grammatica vuota

In breve: La correzione di llama.cpp evita una grammatica lazy senza regole nella combinazione tools e response_format per tre parser specifici. Non è una prova di tool calling simultaneo all’output strutturato: un revisore del progetto avverte esplicitamente che in questa configurazione non verranno prodotte chiamate agli strumenti. llama.cpp: PR 31956 sulla grammatica con strumenti.

Verificate descrizione della PR, stato merged e recensioni ufficiali. Nessuna compilazione, richiesta a un modello o validazione end-to-end eseguita.

Quale combinazione produceva l’errore?

La descrizione identifica tools, tool_choice impostato ad auto e response_format usati insieme. Nei parser qwen3-coder, deepseek e ministral3 veniva costruita la regola del formato di risposta ma la grammatica restava lazy. Mancando le regole trigger, la radice risultava vuota e il parsing della grammatica falliva con errore 400. Il problema è quindi circoscritto a una combinazione di campi e a percorsi di parsing identificati, non a qualsiasi richiesta contenente uno strumento.

llama.cpp: PR 31956 sulla grammatica con strumenti.

Che cosa modifica la correzione?

La PR evita la grammatica lazy quando è impostato un formato di risposta, allineando questi percorsi ad altri parser già citati dalla descrizione. Sono indicati casi test-chat per Qwen3.5, Ministral 3 e DeepSeek V4 che fallivano prima della modifica e passavano dopo secondo l’autore. Sono evidenze del progetto, non nostre misure. L’obiettivo dichiarato è eliminare la grammatica invalida, non dimostrare l’esecuzione completa di un agente con strumenti e schema contemporaneamente.

llama.cpp: PR 31956 sulla grammatica con strumenti.

Perché non promette tool call e JSON insieme?

Nella revisione approvata viene precisato che i modelli non produrranno tool call in questa configurazione. Questo limita in modo sostanziale la lettura della notizia: superare l’errore iniziale non significa ottenere il workflow che un’applicazione si aspetta. Chi vuole sia chiamate agli strumenti sia un risultato finale strutturato deve verificare le fasi separatamente e il comportamento effettivo del proprio client. Il titolo del fix, da solo, non supporta una promessa di compatibilità universale.

llama.cpp: PR 31956 sulla grammatica con strumenti · llama.cpp: revisione primaria sul limite delle tool call.

Come costruire una regressione utile per l’applicazione?

Preparare casi con solo formato, soli strumenti e la combinazione dei due, mantenendo fissi modello, template e parser. Per ciascuno registrare stato HTTP, eventuali tool call, JSON finale e validazione dello schema. Se il caso combinato smette di fallire ma non chiama lo strumento richiesto dal compito, la correzione tecnica non coincide con il successo applicativo. Conservare questo esito nel test invece di considerare sufficiente una risposta 200. Il protocollo resta da eseguire.

llama.cpp: PR 31956 sulla grammatica con strumenti · llama.cpp: revisione primaria sul limite delle tool call.

Condizioni e limitazioni

Verificato il merge della PR, non una release stabile né un nostro test runtime. Il fix non abilita le tool call nella configurazione descritta e non estende una garanzia a ogni parser o modello.