L’ANALISI
Concordat: impedire agli agenti di agire prima della conferma
Concordat limita i tool degli agenti in base allo stato: risultati del preprint, consenso a parole chiave, codice pre-alpha e verifiche proposte.
In breve: Se un agente può cambiare dati, la conferma non dovrebbe essere soltanto una frase nelle istruzioni. La lezione operativa proposta da questa lettura è rendere l’operazione indisponibile fino a uno stato autorizzato e controllarla anche prima dell’esecuzione. Occorre però legare l’approvazione all’azione esatta: riconoscere una parola affermativa non basta.
Un evento del 27 ottobre, con versioni da tenere separate
La data di questo recupero è la prima submission del paper, il 27 ottobre alle 16:00:26 UTC. Il repository esisteva già: è stata verificata anche la revisione 0e3b185, registrata prima della submission. Il codice e il README correnti sono stati letti su una revisione del 30 ottobre. Non sono trattati come se fossero tutti contenuti nuovi del 27: il delta selezionato è il preprint con protocollo, valutazione e artefatti consultabili.
Il runtime decide quali operazioni offrire
Concordat associa le operazioni agli stati di un protocollo e rifiuta una chiamata fuori stato prima che ne venga eseguito il corpo. Il README mostra anche un passaggio riservato all’approvatore umano. Lettura operativa proposta: disegnare prima la sequenza autorizzata e separare consultazione, proposta e modifica. Non aggiungere un tool generico che permetta di raggiungere lo stesso risultato aggirando il passaggio di approvazione: altrimenti la regola descritta e l’autorità effettiva divergono.
I risultati riguardano violazioni e successo, non una sicurezza generale
Nella variante con pressione del cliente, gli autori riportano modifiche senza la conferma attesa in 13 compiti su 50 con gpt-4.1 e in 29 esecuzioni su 128 con Haiku 5.5; con Concordat il conteggio è zero. Le esecuzioni Haiku includono ripetizioni, non 128 compiti diversi. Il successo finale non migliora uniformemente: 105 su 128 contro 112 con Haiku, 22 su 50 contro 20 con gpt-4.1. Sono misure degli autori e non dimostrano equivalenza generale tra i sistemi.
Il limite più importante è che cosa conta come conferma
Nell’adattatore del benchmark, una ricerca di parole riconosce yes, yep o yeah nell’ultimo messaggio del cliente. Il paper segnala che una risposta affermativa con una riserva può quindi essere interpretata male. Proposta per un’applicazione reale: far approvare una rappresentazione esplicita dell’azione, con destinatario, dati da cambiare e importo quando presente. Se cambia uno di questi elementi, richiedere una nuova approvazione. È una procedura consigliata da questa analisi, non una capacità semantica dimostrata da Concordat.
Codice pubblico non significa versione pronta per sistemi reali
Il README consultato dichiara lo stato pre-alpha; la licenza Apache-2.0 è presente anche nella revisione storica verificata. La revisione del 30 ottobre corregge inoltre la gestione di valori di budget non validi e precisa come addebitare i costi in dollari. Questo aggiornamento successivo non viene retrodatato al paper. Prima di adottare la libreria, la procedura proposta è rileggere i cambiamenti della versione scelta e verificare i controlli necessari: il vincolo sul protocollo non certifica ogni altra proprietà del sistema.
Una prova proposta che non tocchi clienti o prenotazioni vere
Protocollo proposto, non eseguito da Radar: usare un database fittizio e un’operazione senza effetti esterni, poi presentare richieste senza conferma, conferme negate o parziali e una correzione dopo l’approvazione. Registrare sia il risultato finale sia ogni tentativo di modifica. La verifica deve fallire se un’azione non autorizzata arriva alla funzione, anche quando l’output finale sembra corretto. Confrontare le stesse richieste con e senza il vincolo, mantenendo invariati modello e dati.
Condizioni e limitazioni
Preprint e libreria pre-alpha, non validazione indipendente. Il test riguarda un dominio, due modelli e clienti simulati. Il riconoscimento della conferma usa parole come yes, yep e yeah: lo zero di violazioni è relativo a questa definizione, non prova un consenso semanticamente valido. Radar non ha installato la libreria né ripetuto il benchmark.
Checklist pratica
- Fissare la versione del paper e la revisione del codice, senza retrodatare gli aggiornamenti del 30 ottobre.
- Elencare separatamente tool di lettura, proposta e modifica.
- Definire gli stati nei quali ogni modifica è autorizzata e controllare eventuali percorsi alternativi.
- Legare l’approvazione all’azione esatta; non riusare automaticamente un sì dopo una modifica della richiesta.
- Misurare violazioni del processo oltre al successo finale del compito.
- Provare rifiuti, negazioni e conferme parziali soltanto su dati e funzioni fittizi.
- Verificare lo stato pre-alpha e i cambiamenti della versione prima di considerare un’integrazione.