L’ANALISI
Targeting e droni: che cosa misurano le nuove eval Anthropic
Una batteria di test separa capacità misurabili, dati sintetici e limiti del trasferimento dai simulatori agli scenari reali.
In breve: Le nuove eval indicano che alcuni modelli riescono già a correlare identità, restringere posizioni e scrivere software utile in simulatori di volo. Non dimostrano però affidabilità sul campo: dati sintetici, assenza di hardware e forte variabilità tra scenari impediscono di leggere i risultati come capacità militare pronta all’uso.
Che cosa è stato valutato
Il Frontier Red Team separa il problema in due famiglie: trovare e localizzare persone da tracce digitali, poi sviluppare software in ambienti simulati per guida, rilascio di payload e navigazione senza GPS.
Identità e geolocalizzazione
La correlazione usa profili social sintetici; la geolocalizzazione usa fotografie senza metadati e testi pubblici. Anthropic riferisce che almeno un modello ha collocato entro un chilometro 135 utenti del corpus testuale, spesso grazie a dettagli espliciti lasciati dagli autori.
Che cosa mostrano i simulatori
Nei nove scenari di guida, il modello migliore dichiarato da Anthropic ha colpito il target nel 20% di 540 lanci. Le condizioni più difficili restano vicine allo zero e vento, movimento e disturbi GPS fanno scendere nettamente i risultati.
Il ruolo dei modelli open-weight
I modelli open-weight testati restano dietro la frontiera nella maggior parte delle prove, ma non sono inerti. Questo sposta la discussione dalla sola accessibilità dei pesi alla valutazione delle capacità e ai controlli applicabili lungo tutto il ciclo di rilascio.
Condizioni e limiti
I profili social sono sintetici e non pienamente realistici. Le prove sui droni avvengono in simulazione, con impostazioni di ragionamento elevate, e non includono materiali, fabbricazione, affidabilità hardware o condizioni operative complete. Sono segnali comparativi, non una misura assoluta del mondo reale.
Checklist per leggere queste eval
- Separare risultati su dati reali, sintetici e simulati.
- Controllare numero di tentativi, metrica e direzione del risultato.
- Confrontare scenari facili e difficili, non soltanto il valore migliore.
- Verificare quali strumenti, metadati o ricerche esterne erano vietati.
- Non trasferire automaticamente il successo software all’hardware fisico.
- Trattare i valori come dichiarazioni del fornitore finché non sono replicati.