Qwen3-Omni: analisi del modello che parla italiano e sfida GPT-4o

Non solo un’analisi: la guida pratica per provare, scaricare e usare via Web e API il nuovo standard dei modelli onni-modali. Requisiti hardware inclusi.

Dopo un’attesa quasi cinematografica, con tanto di video promozionale apparso e misteriosamente scomparso, Alibaba ha finalmente aperto i cancelli: Qwen3-Omni è stato rilasciato ufficialmente. E se pensavi di aver già visto tutto con i modelli precedenti, preparati a resettare le tue aspettative.

Questa non è la solita recensione. Questa è la guida strategica e completa a quello che, senza troppi giri di parole, si candida a diventare il nuovo re dei modelli aperti. Andremo in profondità, analizzando le performance che mettono in imbarazzo persino i colossi closed-source, esplorando le capacità che cambieranno il modo in cui interagiamo con l’AI (sì, anche in italiano), e ti diremo esattamente di cosa hai bisogno per unirti alla rivoluzione.

Ecco alcune caratteristiche:

• Performance da leader: Il modello ha raggiunto lo stato dell’arte (SOTA) in 32 benchmark open-source e 22 benchmark generali su 36 test audio/video, dichiarando di superare competitor come Gemini-2.5-Pro e GPT-4o-Transcribe.
• Un vero poliglotta: Supporta l’interazione testuale in 119 lingue, la comprensione vocale in 19 lingue e la generazione di audio (TTS) in 10 lingue. E sì, tra queste ci sono anche le lingue europee che abbiamo visto nel video.
• Latenza bassissima: Fondamentale per l’interazione in tempo reale. Parliamo di soli 211ms di latenza per le conversazioni audio e 507ms per quelle video.
• Contesto audio di lunga durata: È in grado di comprendere e analizzare fino a 30 minuti di audio continuo.
• Conferma Open-Source: Il modello Qwen3-Omni viene esplicitamente definito “Open-Source” e progettato per “colmare un vuoto nella comunità open-source” con capacità di captioning audio a bassa allucinazione.

I 3 modelli rilasciati: scegli il tuo “guerriero”

La prima, grande notizia è che non è stato rilasciato un solo modello, ma ben tre varianti specializzate da 30 miliardi di parametri, permettendo agli sviluppatori di scegliere lo strumento perfetto per le proprie esigenze:

1. Qwen3-Omni-30B-A3B-Instruct: Il modello completo. Include sia il “Thinker” (il cervello per il ragionamento) che il “Talker” (la componente per la sintesi vocale). È la versione da usare per un’esperienza onni-modale completa, con input di ogni tipo e output sia testuale che audio.
2. Qwen3-Omni-30B-A3B-Thinking: La versione “solo ragionamento”. Contiene unicamente il “Thinker”, disabilitando la generazione audio. Questa scelta permette di risparmiare circa 10GB di VRAM, rendendolo ideale per compiti di analisi, visione artificiale e ragionamento dove l’output vocale non è necessario.
3. Qwen3-Omni-30B-A3B-Captioner: Un modello “figlio”, finemente addestrato a partire dalla versione Instruct per un compito specifico: generare descrizioni audio (captioning) estremamente dettagliate e con bassissimo tasso di allucinazioni. È pensato per colmare un vuoto importante nella community open-source.

Le risorse essenziali: i link che ti servono, subito

Niente fronzoli. Ecco i link ufficiali per mettere subito le mani su Qwen3-Omni.

• Prova la Demo Online: Qwen Chat
• Scarica i Modelli: Hugging Face Repository
• Accedi al Codice: GitHub Repository
• Consulta le API: DashScope API Docs

Che cos’è Qwen3-Omni? la rivoluzione Onni-Modale Nativa

Per anni, molti modelli “multimodali” sono stati in realtà un collage di sistemi diversi: uno per il testo, uno per le immagini, un altro per l’audio, tutti tenuti insieme in modo più o meno efficiente. Qwen3-Omni rompe questo schema. È un modello onni-modale nativo, il che significa che è stato progettato e addestrato fin dal principio per comprendere e processare simultaneamente un’ampia gamma di input: testo, immagini, audio e video.

Il risultato è un’interazione fluida e coerente, dove il modello non si limita a “vedere” un’immagine o “sentire” un audio, ma comprende il contesto che lega insieme tutte queste informazioni. E, come vedremo, lo fa meglio di quasi chiunque altro.

Prestazioni da gigante: I benchmark contro GPT-4o e Gemini 2.5 Pro

La prima cosa che salta all’occhio nella documentazione ufficiale sono le audaci affermazioni sulle performance. Alibaba non si è nascosta, mettendo Qwen3-Omni a confronto diretto con i migliori modelli closed-source del mondo. I risultati sono impressionanti:

• Stato dell’Arte (SOTA): Qwen3-Omni ha raggiunto performance SOTA in 32 su 36 benchmark open-source focalizzati su audio e video.
• Superiorità Dichiarata: Il report tecnico afferma che il modello supera giganti come Gemini 2.5 Pro e GPT-4o-Transcribe in compiti specifici legati all’analisi audio-visiva.

Questo posiziona Qwen3-Omni non come “un buon modello open-source”, ma come un contendente al titolo di miglior modello onni-modale oggi disponibile, punto.

La svolta per l’italiano: TTS e comprensione vocale di livello superiore 🇮🇹

Questa è, senza dubbio, una delle novità più entusiasmanti per la comunità italiana. Il supporto multilingua di Qwen3-Omni è eccezionale e dettagliato:

• Comprensione Vocale (Input): Capisce 19 lingue parlate, e l’italiano è ufficialmente nella lista.
• Generazione Vocale (Output/TTS): È in grado di generare una risposta audio in 10 lingue, e anche qui l’italiano è presente e pienamente supportato.

Cosa significa questo in pratica? Immagina di poter costruire un assistente vocale che non solo capisce l’italiano con tutte le sue sfumature, ma risponde con una voce naturale, fluida e contestualmente appropriata.

Esempio pratico: Potresti mostrare a Qwen3-Omni un video di una ricetta in inglese senza sottotitoli e chiedere a voce, in italiano: “Quali sono gli ingredienti principali e qual è il primo passaggio?“. Il modello guarderebbe il video, ascolterebbe l’audio in inglese, comprenderebbe la tua domanda in italiano e ti risponderebbe a voce, sempre in italiano, con un riassunto chiaro e preciso. Questa capacità di elaborazione cross-modale e cross-lingua è semplicemente rivoluzionaria per il mondo open-source.

Function Calling: Il motore per agenti AI intelligenti

Se la multimodalità è il corpo, il Function Calling è il sistema nervoso che permette al modello di agire. Questa funzionalità consente a Qwen3-Omni di convertire una richiesta in linguaggio naturale in una chiamata a una funzione o a un’API esterna.

Esempio: L’utente dice: “Trova il ristorante italiano meglio recensito qui vicino e prenota un tavolo per due per le 20:00“. Qwen3-Omni può scomporre questa richiesta in azioni concrete:

1. Chiama l’API di Google Maps per cercare “ristoranti italiani” e filtrare per recensioni.
2. Identifica il miglior risultato.
3. Interagisce con un’ipotetica API di prenotazione per completare l’operazione.

Questa capacità è la chiave per creare agenti AI che non si limitano a parlare, ma fanno cose, aprendo un universo di possibilità per l’automazione e i servizi personalizzati.

Esempi pratici: 3 Cose che puoi costruire OGGI con Qwen3-Omni

Questa è la parte che conta. Non concetti astratti, ma scenari reali con esempi di interazione.

Esempio 1: l’assistente turistico tascabile (multimodale + multilingua)

Immagina di voler creare un’app che abbatte ogni barriera linguistica e culturale per un turista.

Lo Scenario: Un turista americano a Napoli non capisce il menù scritto a mano e vuole sapere cosa c’è nel “piatto del giorno”.

L’Interazione con Qwen3-Omni (concettuale):

// INPUT DALL'APP
{
  "model": "qwen3-omni",
  "messages": [
    {
      "role": "user",
      "content": [
        {"type": "image", "image": "foto_menu_scritto_a_mano.jpg"},
        {"type": "audio", "audio": "what-is-the-dish-of-the-day.wav"}
      ]
    }
  ],
  "output": "audio" // Vogliamo una risposta vocale
}

// OUTPUT GENERATO DAL MODELLO
{
  "text": "The dish of the day is 'pasta e patate con provola', a traditional and hearty pasta and potato soup with smoked provola cheese. It's a local specialty!",
  "audio": "risposta_in_inglese.wav"
}

Cosa è successo qui? Qwen3-Omni ha:

1. Letto e interpretato il testo italiano da un’immagine (OCR).
2. Trascritto e compreso una domanda vocale in inglese.
3. Correlato le due informazioni, ha ragionato e ha formulato una risposta utile.
4. Generato un file audio (TTS) con la risposta in inglese fluente.

Tutto questo in un’unica chiamata. Fino a ieri, per fare una cosa del genere servivano 4 modelli diversi e una tonnellata di codice per farli parlare tra loro.

Esempio 2: l’analista di riunioni che ti fa risparmiare ore (lungo contesto audio)

Hai appena finito una call di un’ora su Teams e non hai voglia di riascoltarla per estrarre le cose importanti.

Lo Scenario: Vuoi un riassunto, la lista dei compiti assegnati e sapere chi deve fare cosa.

L’Interazione con Qwen3-Omni:

// INPUT
{
  "model": "qwen3-omni-thinking", // Usiamo il modello "Thinking" senza audio
  "messages": [
    {
      "role": "user",
      "content": [
        {"type": "audio", "audio": "registrazione_meeting_30_minuti.mp3"},
        {
          "type": "text",
          "text": "Trascrivi questa riunione. Poi, estrai un riassunto di 5 punti, una lista di tutte le action items con la persona responsabile per ciascuna, e dimmi qual è stato il punto più dibattuto."
        }
      ]
    }
  ]
}

// OUTPUT GENERATO DAL MODELLO (Testo)
"**Trascrizione:**\n[...testo completo...]\n\n**Riassunto:**\n1. Approvazione budget Q4.\n2. Discussione sul ritardo del progetto 'Alpha'.\n[...]\n\n**Action Items:**\n- **Marco:** Inviare le specifiche aggiornate entro venerdì.\n- **Giulia:** Contattare il fornitore per il nuovo preventivo.\n[...]\n\n**Punto più dibattuto:**\nLa discussione più accesa ha riguardato la proposta di posticipare il lancio del progetto 'Alpha', con opinioni contrastanti tra Marco e Giulia."

Cosa è successo qui? Sfruttando la sua capacità di analizzare fino a 30 minuti di audio, Qwen3-Omni non si è limitato a trascrivere. Ha compreso la semantica della conversazione, ha identificato i compiti, le responsabilità e persino il “sentiment” del dibattito.

Esempio 3: l’agente per la domotica intelligente (function calling)

Vuoi che il tuo assistente domestico capisca ordini complessi e agisca di conseguenza, controllando altri dispositivi e servizi.

Lo Scenario: Stai uscendo di casa e con un solo comando vocale vuoi sistemare tutto.

L’Interazione con Qwen3-Omni:

JSON

// INPUT VOCALE DELL'UTENTE
"Ok Qwen, sto uscendo. Abbassa il termostato a 18 gradi, spegni tutte le luci tranne quella dell'ingresso e fammi un riassunto degli impegni di oggi pomeriggio sul telefono."

// OUTPUT GENERATO DAL MODELLO (JSON per le API)
[
  {
    "tool_name": "set_thermostat",
    "arguments": {
      "temperature": 18,
      "unit": "celsius"
    }
  },
  {
    "tool_name": "control_lights",
    "arguments": {
      "state": "off",
      "exclude": ["ingresso"]
    }
  },
  {
    "tool_name": "send_calendar_summary",
    "arguments": {
      "period": "afternoon",
      "device": "phone"
    }
  }
]

Cosa è successo qui? Qwen3-Omni ha agito come un vero centro di comando. Ha interpretato un comando complesso in linguaggio naturale e lo ha tradotto in tre chiamate a funzione (Function Calling) strutturate e precise, pronte per essere eseguite dai sistemi di domotica e dal tuo calendario. Questa è la vera intelligenza artificiale applicata al mondo reale.

La guida per sviluppatori: API e uso in locale

Alibaba ha reso il modello accessibile attraverso diversi canali, pensando sia a chi vuole un accesso immediato sia a chi desidera il controllo totale in locale.

Accesso via API: la via più semplice con DashScope

Il modo più semplice, efficiente e scalabile per usare Qwen3-Omni è tramite DashScope, la piattaforma di servizi AI di Alibaba Cloud.

Cos’è DashScope? Pensala come l’equivalente di Vertex AI di Google o di Azure AI Studio di Microsoft. È l’hub centrale dove Alibaba mette a disposizione i suoi modelli più potenti tramite API ottimizzate. Invece di preoccuparti di server e VRAM, puoi semplicemente inviare una richiesta e ricevere una risposta. La notizia fantastica per gli sviluppatori è che l’endpoint di DashScope è compatibile con le API di OpenAI, rendendo l’integrazione quasi istantanea.

E i costi? Un modello sorprendentemente economico

Questa è la parte più interessante. L’accesso a una tecnologia così avanzata ha un costo accessibile, specialmente se confrontato con altri modelli di punta.

• Quota Gratuita Iniziale: Prima di pagare un centesimo, Alibaba offre 1 milione di token gratuiti su qwen3-omni-flash, validi per 90 giorni dall’attivazione del servizio. Un’ottima occasione per testarlo a fondo.
• Prezzi Pay-as-you-go: Finiti i token gratuiti, i costi sono i seguenti (possono variare leggermente, controlla sempre la pagina ufficiale):
  • COSTI DI INPUT (Dati che invii)
    • Testo: circa 0.01$ - 0.02$ per 1 milione di token.
    • Immagini/Video (Visual): circa 0.02$ - 0.04$ per 1 milione di token.
  • COSTI DI OUTPUT (Risposte che ricevi)
    • Testo: circa 0.04$ - 0.08$ per 1 milione di token.
    • Audio (TTS): circa 0.10$ - 0.20$ per 1 milione di “token audio”.

In sintesi: è un modello estremamente economico per l’elaborazione di input, anche complessi. Il costo maggiore risiede, come prevedibile, nella generazione di output audio. Per tutti i dettagli e il listino sempre aggiornato, il riferimento è la pagina ufficiale:

• Riferimento Ufficiale: Alibaba Cloud DashScope Pricing

Ecco un esempio concettuale in Python:

import os
from openai import OpenAI

# Configura il client per usare l'endpoint di DashScope
client = OpenAI(
    api_key=os.getenv("DASHSCOPE_API_KEY"),
    base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)

# Ora puoi usare il client come faresti con OpenAI, ma chiamando i modelli Qwen!
completion = client.chat.completions.create(
    model="qwen3-omni-flash",
    messages=[{"role": "user", "content": "Ciao, come ti chiami?"}],
    stream=True
)

for chunk in completion:
    if chunk.choices:
        print(chunk.choices[0].delta.content, end="")

Eseguirlo in locale: Preparate i vostri server

Qui arrivano le note dolenti per gli hobbisti. Far girare un modello di questa portata richiede una potenza di calcolo significativa.

Requisiti Hardware: Diciamolo subito: per far girare Qwen3-Omni in locale non basta un PC da gaming. La documentazione ufficiale indica che per il modello da 30B servono, come minimo, tra i 70GB e i 90GB di VRAM a seconda del carico di lavoro. Questo significa che sono necessarie configurazioni con più GPU professionali come le NVIDIA A100 o H100. Per fortuna, il rilascio del modello Thinking (senza la componente audio) permette di risparmiare circa 10GB di VRAM, rendendolo leggermente più accessibile.

Software Consigliato: A causa della sua architettura MoE (Mixture of Experts), l’inferenza con la libreria standard transformers di Hugging Face può essere molto lenta. Il team di Qwen raccomanda fortemente l’uso di vLLM, un motore di inferenza ottimizzato che migliora drasticamente la velocità e l’efficienza, specialmente per modelli di questo tipo. Per semplificare il setup, sono state rese disponibili anche delle immagini Docker con tutto l’ambiente pre-configurato.

Download e Codice: Trovi tutto il necessario su Hugging Face e GitHub.

Conclusione: Qwen3-Omni è il nuovo punto di riferimento

Il rilascio di Qwen3-Omni è più di un semplice aggiornamento. È una dichiarazione d’intenti. Alibaba ha messo sul tavolo un modello onni-modale nativo, con prestazioni SOTA, un supporto multilingua eccezionale (finalmente con un focus anche sull’italiano) e capacità da agente AI avanzato.

Rendendolo open-source, non solo sfida i giganti del settore, ma fornisce alla comunità globale uno strumento potentissimo per costruire la prossima generazione di applicazioni intelligenti.

Se le promesse verranno mantenute, l’AI open-source si prepara a un nuovo scossone. E, ancora una volta, potrebbe arrivare dalla Cina 🙂 Non vedo l’ora di provarlo.

Nuovo su Google

Aggiungi francescogruner.it come fonte preferita

Se leggi spesso i miei articoli su AI, automazione e tecnologia, ora puoi dire a Google che vuoi vedere più spesso i contenuti di francescogruner.it tra le notizie.