L’ANALISI
OpenAI dichiara raggiunto il suo “research intern”, ma i dati restano interni
OpenAI misura 3,1 giornate-agente per ogni giornata umana nella ricerca e considera raggiunto il livello “research intern”; risultati e costi sono però auto-riferiti.
In breve: il risultato interessante non è un ricercatore autonomo completo. OpenAI dichiara di avere un sistema che esegue compiti ben delimitati, sotto direzione umana, nell’ordine di alcuni giorni di lavoro. I dati mostrano scala d’uso e parallelismo, ma non dimostrano da soli qualità scientifica o progresso indipendente.
Che cosa significa “research intern”
OpenAI definisce il traguardo come la capacità di portare a termine compiti di ricerca ben specificati che richiederebbero alcuni giorni a un ricercatore qualificato. La direzione, la scelta delle priorità e la decisione su quali risultati proseguire restano umane. Il prossimo obiettivo dichiarato, un ricercatore AI pienamente automatizzato, è fissato per marzo 2028.
Le metriche che rendono concreto il cambiamento
A metà agosto l’organizzazione di ricerca registrava 3,1 giornate-agente per ogni giornata umana, assumendo otto ore come unità. Il ricercatore mediano usava oltre 600 dollari al giorno di inferenza ai prezzi API, mentre il novantesimo percentile superava 7.000 dollari. Sono misure di attività e costo equivalente, non di produttività netta.
Dove gli agenti stanno entrando nel lavoro
L’uso non riguarda soltanto la scrittura di codice. Il rapporto classifica attività di progettazione, costruzione di dataset, avvio e debug degli esperimenti, analisi dei risultati, documentazione e supporto tecnico. La pianificazione di alto livello resta una quota minima dei token prodotti dagli agenti.
Autonomia non significa assenza di supervisione
Il limite operativo più utile è nel grafico sui compiti lunghi: in oltre metà dei successi da quattro a otto ore c’è stato almeno un intervento umano. Con l’aumentare della durata crescono steering, errori degli strumenti e obiettivi non chiari. Per un team esterno, la lezione è misurare consegne verificate, non ore-agente accumulate.
Perché più esperimenti non provano da soli più scienza
OpenAI osserva una crescita del codice e degli esperimenti, correlata all’adozione di Codex, ma riconosce anche l’aumento del compute disponibile. Restano colli di bottiglia difficili da automatizzare: selezione delle idee, qualità delle valutazioni, interpretazione e decisioni. La relazione pubblicata non offre dati grezzi o una replica indipendente.
Condizioni e limiti
I numeri vengono da telemetria e classificatori interni, coprono gran parte ma non tutto l’uso e includono ruoli diversi nella ricerca. Le equivalenze in giornate sono stime di runtime, non ore umane risparmiate. OpenAI dichiara inoltre di non sapere ancora come ottenere in sicurezza una piena auto-miglioramento ricorsivo allineato.
Checklist per valutare agenti di ricerca in un team
- Definire il compito, l’artefatto atteso e il criterio di arresto prima dell’esecuzione.
- Separare tempo macchina, costo di inferenza, interventi umani e risultato verificato.
- Registrare errori degli strumenti, tentativi falliti e modifiche all’obiettivo.
- Far replicare analisi e benchmark da una persona o da una pipeline indipendente.
- Misurare il valore sul ciclo completo, non sul numero di agenti concorrenti.
- Applicare limiti di accesso, checkpoint e revisione prima di usare risultati in training.