L’ANALISI
Clef-omni: decisioni multimodali open weight su audio e video
Analisi pratica di Clef-omni: pesi open weight, input audio e video, requisiti locali, prezzi Workers AI e limiti dei benchmark dichiarati.
In breve: Clef-omni porta le decisioni vincolate da schema su testo, immagini, audio e video in un singolo passaggio. È scaricabile, ma il percorso locale documentato richiede hardware di fascia datacenter; per provarlo senza quella GPU si può usare l’API Workers AI, distinguendo sempre classificazione probabilistica da generazione libera.
Che cosa cambia rispetto a Clef
Il nuovo checkpoint usa il backbone Qwen3-Omni-30B-A3B-Instruct e conserva gli encoder visivi e audio. Accetta wav, mp3, mp4 e webm insieme a testo, JSON e immagini, quindi evita una pipeline separata di trascrizione quando il compito è scegliere tra opzioni definite.
Pesi, codice e requisiti locali
La model card pubblica shard safetensors, testa torch 2.11 e transformers 5.10.2 su una singola H200 e indica circa 64 GB di memoria GPU in bfloat16. La licenza dichiarata è Apache 2.0 e il modello espone un formato compatibile con Jev e SystemOne.
Prezzi e prestazioni dichiarate
Cloudflare quota Clef-omni a 0,15 dollari per milione di token input. Dichiara circa 130 ms mediani sul solo testo e circa 1,5 secondi per un video di 21 secondi con audio; sono dati del fornitore e vanno verificati sul proprio carico.
Come leggere i benchmark
Clef-omni guida alcune righe del Decision Index, ma non tutte: Clef, Clef-flash e Jev restano migliori in diversi benchmark e workflow. La scelta va quindi fatta sul tipo di input, sullo schema e sull’errore operativo accettabile, non su una media unica.
Condizioni e limitazioni
I risultati e le latenze sono misure dichiarate da Cloudflare, non test indipendenti. Il caricamento locale documentato richiede circa 64 GB di memoria GPU in BF16 su una H200; il modello non genera testo libero e alcune attività restano migliori con Clef, Clef-flash o Jev.
Checklist pratica
- Scaricare il repository con snapshot_download e bloccare una revisione precisa.
- Verificare almeno 64 GB di VRAM BF16 oppure scegliere Workers AI.
- Definire domande e opzioni chiuse con criteri non ambigui.
- Provare separatamente testo, immagini, audio e video rappresentativi del caso reale.
- Misurare calibrazione, falsi positivi, latenza e costo prima di automatizzare azioni.