# Qwen3-Omni: analisi del modello che parla italiano e sfida GPT-4o > Fonte: https://francescogruner.it/qwen3-omni-analisi-modello-ai-alibaba/ > Non solo un’analisi: la guida pratica per provare, scaricare e usare via Web e API il nuovo standard dei modelli onni-modali. Requisiti hardware inclusi. Dopo un’attesa quasi cinematografica, con tanto di video promozionale apparso e misteriosamente scomparso, Alibaba ha finalmente aperto i cancelli: **Qwen3-Omni è stato rilasciato ufficialmente**. E se pensavi di aver già visto tutto con i modelli precedenti, preparati a resettare le tue aspettative. Questa non è la solita recensione. Questa è la guida strategica e completa a quello che, senza troppi giri di parole, si candida a diventare il nuovo re dei modelli aperti. Andremo in profondità, analizzando le performance che mettono in imbarazzo persino i colossi closed-source, esplorando le capacità che cambieranno il modo in cui interagiamo con l’AI (sì, anche in italiano), e ti diremo esattamente di cosa hai bisogno per unirti alla rivoluzione. Ecco alcune caratteristiche: - **Performance da leader:** Il modello ha raggiunto lo **stato dell’arte (SOTA) in 32 benchmark open-source e 22 benchmark generali** su 36 test audio/video, dichiarando di **superare competitor come Gemini-2.5-Pro e GPT-4o-Transcribe**. - **Un vero poliglotta:** Supporta l’interazione testuale in **119 lingue**, la comprensione vocale in **19 lingue** e la generazione di audio (TTS) in **10 lingue**. E sì, tra queste ci sono anche le lingue europee che abbiamo visto nel video. - **Latenza bassissima:** Fondamentale per l’interazione in tempo reale. Parliamo di soli **211ms di latenza per le conversazioni audio** e 507ms per quelle video. - **Contesto audio di lunga durata:** È in grado di comprendere e analizzare fino a **30 minuti di audio continuo**. - **Conferma Open-Source:** Il modello `Qwen3-Omni` viene esplicitamente definito **“Open-Source”** e progettato per “colmare un vuoto nella comunità open-source” con capacità di *captioning* audio a bassa allucinazione. Indice dei contenuti [Toggle](#) - [Ti sta piacendo?](#Ti_sta_piacendo) - [Che cos’è Qwen3-Omni? la rivoluzione Onni-Modale Nativa](#Che_cose_Qwen3-Omni_la_rivoluzione_Onni-Modale_Nativa) - [Prestazioni da gigante: I benchmark contro GPT-4o e Gemini 2.5 Pro](#Prestazioni_da_gigante_I_benchmark_contro_GPT-4o_e_Gemini_25_Pro) - [La svolta per l’italiano: TTS e comprensione vocale di livello superiore 🇮🇹](#La_svolta_per_litaliano_TTS_e_comprensione_vocale_di_livello_superiore_%F0%9F%87%AE%F0%9F%87%B9) - [Function Calling: Il motore per agenti AI intelligenti](#Function_Calling_Il_motore_per_agenti_AI_intelligenti) - [Esempi pratici: 3 Cose che puoi costruire OGGI con Qwen3-Omni](#Esempi_pratici_3_Cose_che_puoi_costruire_OGGI_con_Qwen3-Omni) - [Esempio 1: l’assistente turistico tascabile (multimodale + multilingua)](#Esempio_1_lassistente_turistico_tascabile_multimodale_multilingua) - [Esempio 2: l’analista di riunioni che ti fa risparmiare ore (lungo contesto audio)](#Esempio_2_lanalista_di_riunioni_che_ti_fa_risparmiare_ore_lungo_contesto_audio) - [Esempio 3: l’agente per la domotica intelligente (function calling)](#Esempio_3_lagente_per_la_domotica_intelligente_function_calling) - [La guida per sviluppatori: API e uso in locale](#La_guida_per_sviluppatori_API_e_uso_in_locale) - [Accesso via API: la via più semplice con DashScope](#Accesso_via_API_la_via_piu_semplice_con_DashScope) - [Eseguirlo in locale: Preparate i vostri server](#Eseguirlo_in_locale_Preparate_i_vostri_server) - [Conclusione: Qwen3-Omni è il nuovo punto di riferimento](#Conclusione_Qwen3-Omni_e_il_nuovo_punto_di_riferimento) ### **I 3 modelli rilasciati: scegli il tuo “guerriero”** La prima, grande notizia è che non è stato rilasciato un solo modello, ma ben tre varianti specializzate da 30 miliardi di parametri, permettendo agli sviluppatori di scegliere lo strumento perfetto per le proprie esigenze: 1. **`Qwen3-Omni-30B-A3B-Instruct`**: Il modello completo. Include sia il “Thinker” (il cervello per il ragionamento) che il “Talker” (la componente per la sintesi vocale). È la versione da usare per un’esperienza onni-modale completa, con input di ogni tipo e output sia testuale che audio. 2. **`Qwen3-Omni-30B-A3B-Thinking`**: La versione “solo ragionamento”. Contiene unicamente il “Thinker”, disabilitando la generazione audio. Questa scelta permette di risparmiare circa 10GB di VRAM, rendendolo ideale per compiti di analisi, visione artificiale e ragionamento dove l’output vocale non è necessario. 3. **`Qwen3-Omni-30B-A3B-Captioner`**: Un modello “figlio”, finemente addestrato a partire dalla versione Instruct per un compito specifico: generare descrizioni audio (*captioning*) estremamente dettagliate e con bassissimo tasso di allucinazioni. È pensato per colmare un vuoto importante nella community open-source. ### **Le risorse essenziali: i link che ti servono, subito** Niente fronzoli. Ecco i link ufficiali per mettere subito le mani su Qwen3-Omni. - **Prova la Demo Online:** **[Qwen Chat](https://chat.qwen.ai/)** - **Scarica i Modelli:** **[Hugging Face Repository](https://huggingface.co/collections/Qwen/qwen3-omni-68d100a86cd0906843ceccbe)** - **Accedi al Codice:** **[GitHub Repository](https://github.com/QwenLM/Qwen3-Omni)** - **Consulta le API:** **[DashScope API Docs](https://www.alibabacloud.com/help/en/model-studio/qwen-omni)** ## Ti sta piacendo? Ricevi una guida pratica ogni settimana. AI, tool e automazioni. Iscriviti gratis Perfetto, sei dentro. ### **Che cos’è Qwen3-Omni? la rivoluzione Onni-Modale Nativa** Per anni, molti modelli “multimodali” sono stati in realtà un collage di sistemi diversi: uno per il testo, uno per le immagini, un altro per l’audio, tutti tenuti insieme in modo più o meno efficiente. Qwen3-Omni rompe questo schema. È un **modello onni-modale nativo**, il che significa che è stato progettato e addestrato fin dal principio per comprendere e processare simultaneamente un’ampia gamma di input: **testo, immagini, audio e video**. Il risultato è un’interazione fluida e coerente, dove il modello non si limita a “vedere” un’immagine o “sentire” un audio, ma comprende il contesto che lega insieme tutte queste informazioni. E, come vedremo, lo fa meglio di quasi chiunque altro. ### **Prestazioni da gigante: I benchmark contro GPT-4o e Gemini 2.5 Pro** La prima cosa che salta all’occhio nella documentazione ufficiale sono le audaci affermazioni sulle performance. Alibaba non si è nascosta, mettendo Qwen3-Omni a confronto diretto con i migliori modelli closed-source del mondo. I risultati sono impressionanti: - **Stato dell’Arte (SOTA):** Qwen3-Omni ha raggiunto performance SOTA in **32 su 36 benchmark open-source** focalizzati su audio e video. - **Superiorità Dichiarata:** Il report tecnico afferma che il modello supera giganti come **Gemini 2.5 Pro** e **GPT-4o-Transcribe** in compiti specifici legati all’analisi audio-visiva. Questo posiziona Qwen3-Omni non come “un buon modello open-source”, ma come un contendente al titolo di miglior modello onni-modale oggi disponibile, punto. ### **La svolta per l’italiano: TTS e comprensione vocale di livello superiore 🇮🇹** Questa è, senza dubbio, una delle novità più entusiasmanti per la comunità italiana. Il supporto multilingua di Qwen3-Omni è eccezionale e dettagliato: - **Comprensione Vocale (Input):** Capisce **19 lingue parlate**, e l’**italiano** è ufficialmente nella lista. - **Generazione Vocale (Output/TTS):** È in grado di generare una risposta audio in **10 lingue**, e anche qui l’**italiano** è presente e pienamente supportato. Cosa significa questo in pratica? Immagina di poter costruire un assistente vocale che non solo capisce l’italiano con tutte le sue sfumature, ma risponde con una voce naturale, fluida e contestualmente appropriata. **Esempio pratico:** Potresti mostrare a Qwen3-Omni un video di una ricetta in inglese senza sottotitoli e chiedere a voce, in italiano: “*Quali sono gli ingredienti principali e qual è il primo passaggio?*“. Il modello guarderebbe il video, ascolterebbe l’audio in inglese, comprenderebbe la tua domanda in italiano e ti risponderebbe a voce, sempre in italiano, con un riassunto chiaro e preciso. Questa capacità di elaborazione cross-modale e cross-lingua è semplicemente rivoluzionaria per il mondo open-source. ### **Function Calling: Il motore per agenti AI intelligenti** Se la multimodalità è il corpo, il **Function Calling** è il sistema nervoso che permette al modello di agire. Questa funzionalità consente a Qwen3-Omni di convertire una richiesta in linguaggio naturale in una chiamata a una funzione o a un’API esterna. **Esempio:** L’utente dice: “*Trova il ristorante italiano meglio recensito qui vicino e prenota un tavolo per due per le 20:00*“. Qwen3-Omni può scomporre questa richiesta in azioni concrete: 1. **Chiama** l’API di Google Maps per cercare “ristoranti italiani” e filtrare per recensioni. 2. **Identifica** il miglior risultato. 3. **Interagisce** con un’ipotetica API di prenotazione per completare l’operazione. Questa capacità è la chiave per creare agenti AI che non si limitano a parlare, ma *fanno* cose, aprendo un universo di possibilità per l’automazione e i servizi personalizzati. ### **Esempi pratici: 3 Cose che puoi costruire OGGI con Qwen3-Omni** Questa è la parte che conta. Non concetti astratti, ma scenari reali con esempi di interazione. #### **Esempio 1: l’assistente turistico tascabile (multimodale + multilingua)** Immagina di voler creare un’app che abbatte ogni barriera linguistica e culturale per un turista. **Lo Scenario:** Un turista americano a Napoli non capisce il menù scritto a mano e vuole sapere cosa c’è nel “piatto del giorno”. **L’Interazione con Qwen3-Omni (concettuale):** ``` // INPUT DALL'APP { "model": "qwen3-omni", "messages": [ { "role": "user", "content": [ {"type": "image", "image": "foto_menu_scritto_a_mano.jpg"}, {"type": "audio", "audio": "what-is-the-dish-of-the-day.wav"} ] } ], "output": "audio" // Vogliamo una risposta vocale } // OUTPUT GENERATO DAL MODELLO { "text": "The dish of the day is 'pasta e patate con provola', a traditional and hearty pasta and potato soup with smoked provola cheese. It's a local specialty!", "audio": "risposta_in_inglese.wav" } ``` **Cosa è successo qui?** Qwen3-Omni ha: 1. **Letto e interpretato** il testo italiano da un’immagine (OCR). 2. **Trascritto e compreso** una domanda vocale in inglese. 3. **Correlato** le due informazioni, ha ragionato e ha formulato una risposta utile. 4. **Generato** un file audio (TTS) con la risposta in inglese fluente. Tutto questo in un’unica chiamata. Fino a ieri, per fare una cosa del genere servivano 4 modelli diversi e una tonnellata di codice per farli parlare tra loro. #### **Esempio 2: l’analista di riunioni che ti fa risparmiare ore (lungo contesto audio)** Hai appena finito una call di un’ora su Teams e non hai voglia di riascoltarla per estrarre le cose importanti. **Lo Scenario:** Vuoi un riassunto, la lista dei compiti assegnati e sapere chi deve fare cosa. **L’Interazione con Qwen3-Omni:** ``` // INPUT { "model": "qwen3-omni-thinking", // Usiamo il modello "Thinking" senza audio "messages": [ { "role": "user", "content": [ {"type": "audio", "audio": "registrazione_meeting_30_minuti.mp3"}, { "type": "text", "text": "Trascrivi questa riunione. Poi, estrai un riassunto di 5 punti, una lista di tutte le action items con la persona responsabile per ciascuna, e dimmi qual è stato il punto più dibattuto." } ] } ] } // OUTPUT GENERATO DAL MODELLO (Testo) "**Trascrizione:**\n[...testo completo...]\n\n**Riassunto:**\n1. Approvazione budget Q4.\n2. Discussione sul ritardo del progetto 'Alpha'.\n[...]\n\n**Action Items:**\n- **Marco:** Inviare le specifiche aggiornate entro venerdì.\n- **Giulia:** Contattare il fornitore per il nuovo preventivo.\n[...]\n\n**Punto più dibattuto:**\nLa discussione più accesa ha riguardato la proposta di posticipare il lancio del progetto 'Alpha', con opinioni contrastanti tra Marco e Giulia." ``` **Cosa è successo qui?** Sfruttando la sua capacità di analizzare fino a **30 minuti di audio**, Qwen3-Omni non si è limitato a trascrivere. Ha compreso la semantica della conversazione, ha identificato i compiti, le responsabilità e persino il “sentiment” del dibattito. #### **Esempio 3: l’agente per la domotica intelligente (function calling)** Vuoi che il tuo assistente domestico capisca ordini complessi e agisca di conseguenza, controllando altri dispositivi e servizi. **Lo Scenario:** Stai uscendo di casa e con un solo comando vocale vuoi sistemare tutto. **L’Interazione con Qwen3-Omni:** JSON ``` // INPUT VOCALE DELL'UTENTE "Ok Qwen, sto uscendo. Abbassa il termostato a 18 gradi, spegni tutte le luci tranne quella dell'ingresso e fammi un riassunto degli impegni di oggi pomeriggio sul telefono." // OUTPUT GENERATO DAL MODELLO (JSON per le API) [ { "tool_name": "set_thermostat", "arguments": { "temperature": 18, "unit": "celsius" } }, { "tool_name": "control_lights", "arguments": { "state": "off", "exclude": ["ingresso"] } }, { "tool_name": "send_calendar_summary", "arguments": { "period": "afternoon", "device": "phone" } } ] ``` **Cosa è successo qui?** Qwen3-Omni ha agito come un vero centro di comando. Ha interpretato un comando complesso in linguaggio naturale e lo ha tradotto in **tre chiamate a funzione (Function Calling)** strutturate e precise, pronte per essere eseguite dai sistemi di domotica e dal tuo calendario. Questa è la vera intelligenza artificiale applicata al mondo reale. ## ****La guida per sviluppatori: API e uso in locale**** Alibaba ha reso il modello accessibile attraverso diversi canali, pensando sia a chi vuole un accesso immediato sia a chi desidera il controllo totale in locale. ### **Accesso via API: la via più semplice con DashScope** Il modo più semplice, efficiente e scalabile per usare Qwen3-Omni è tramite **DashScope**, la piattaforma di servizi AI di Alibaba Cloud. **Cos’è DashScope?** Pensala come l’equivalente di **Vertex AI di Google** o di **Azure AI Studio di Microsoft**. È l’hub centrale dove Alibaba mette a disposizione i suoi modelli più potenti tramite API ottimizzate. Invece di preoccuparti di server e VRAM, puoi semplicemente inviare una richiesta e ricevere una risposta. La notizia fantastica per gli sviluppatori è che l’endpoint di DashScope è **compatibile con le API di OpenAI**, rendendo l’integrazione quasi istantanea. **E i costi? Un modello sorprendentemente economico** Questa è la parte più interessante. L’accesso a una tecnologia così avanzata ha un costo accessibile, specialmente se confrontato con altri modelli di punta. - **Quota Gratuita Iniziale:** Prima di pagare un centesimo, Alibaba offre **1 milione di token gratuiti** su `qwen3-omni-flash`, validi per 90 giorni dall’attivazione del servizio. Un’ottima occasione per testarlo a fondo. - **Prezzi Pay-as-you-go:** Finiti i token gratuiti, i costi sono i seguenti (possono variare leggermente, controlla sempre la pagina ufficiale): - **COSTI DI INPUT (Dati che invii)** - **Testo:** circa **0.01$ - 0.02$** per 1 milione di token. - **Immagini/Video (Visual):** circa **0.02$ - 0.04$** per 1 milione di token. - **COSTI DI OUTPUT (Risposte che ricevi)** - **Testo:** circa **0.04$ - 0.08$** per 1 milione di token. - **Audio (TTS):** circa **0.10$ - 0.20$** per 1 milione di “token audio”. **In sintesi:** è un modello **estremamente economico** per l’elaborazione di input, anche complessi. Il costo maggiore risiede, come prevedibile, nella generazione di output audio. Per tutti i dettagli e il listino sempre aggiornato, il riferimento è la pagina ufficiale: - **Riferimento Ufficiale:** **[Alibaba Cloud DashScope Pricing](https://www.alibabacloud.com/help/en/model-studio/qwen-omni)** Ecco un esempio concettuale in Python: ``` import os from openai import OpenAI # Configura il client per usare l'endpoint di DashScope client = OpenAI( api_key=os.getenv("DASHSCOPE_API_KEY"), base_url="https://dashscope.aliyuncs.com/compatible-mode/v1", ) # Ora puoi usare il client come faresti con OpenAI, ma chiamando i modelli Qwen! completion = client.chat.completions.create( model="qwen3-omni-flash", messages=[{"role": "user", "content": "Ciao, come ti chiami?"}], stream=True ) for chunk in completion: if chunk.choices: print(chunk.choices[0].delta.content, end="") ``` ### **Eseguirlo in locale: Preparate i vostri server** Qui arrivano le note dolenti per gli hobbisti. Far girare un modello di questa portata richiede una potenza di calcolo significativa. **Requisiti Hardware:** Diciamolo subito: per far girare Qwen3-Omni in locale non basta un PC da gaming. La documentazione ufficiale indica che per il modello da 30B servono, come minimo, **tra i 70GB e i 90GB di VRAM** a seconda del carico di lavoro. Questo significa che sono necessarie configurazioni con più GPU professionali come le NVIDIA A100 o H100. Per fortuna, il rilascio del modello **`Thinking`** (senza la componente audio) permette di risparmiare circa 10GB di VRAM, rendendolo leggermente più accessibile. **Software Consigliato:** A causa della sua architettura **MoE (Mixture of Experts)**, l’inferenza con la libreria standard `transformers` di Hugging Face può essere molto lenta. Il team di Qwen **raccomanda fortemente l’uso di vLLM**, un motore di inferenza ottimizzato che migliora drasticamente la velocità e l’efficienza, specialmente per modelli di questo tipo. Per semplificare il setup, sono state rese disponibili anche delle immagini **Docker** con tutto l’ambiente pre-configurato. **Download e Codice:** Trovi tutto il necessario su **[Hugging Face](https://huggingface.co/Qwen/Qwen3-Omni-30B-A3B-Instruct)** e **[GitHub](https://github.com/QwenLM/Qwen3-Omni)**. ## **Conclusione: Qwen3-Omni è il nuovo punto di riferimento** Il rilascio di Qwen3-Omni è più di un semplice aggiornamento. È una dichiarazione d’intenti. Alibaba ha messo sul tavolo un modello onni-modale nativo, con prestazioni SOTA, un supporto multilingua eccezionale (finalmente con un focus anche sull’italiano) e capacità da agente AI avanzato. Rendendolo open-source, non solo sfida i giganti del settore, ma fornisce alla comunità globale uno strumento potentissimo per costruire la prossima generazione di applicazioni intelligenti. Se le promesse verranno mantenute, l’AI open-source si prepara a un nuovo scossone. E, ancora una volta, potrebbe arrivare dalla Cina 🙂 Non vedo l’ora di provarlo.