L’ANALISI
Reka Edge 2603: cosa serve per eseguire in locale il VLM da 7B
Analisi pratica di Reka Edge 2603: pesi scaricabili, requisiti hardware, supporto immagini e video, vLLM, SGLang e limiti della licenza commerciale.
In breve: Reka Edge 2603 rende scaricabile un VLM da 7B per testo, immagini e video, con avvio documentato tramite Transformers, vLLM e SGLang. Il vantaggio dichiarato è la riduzione dei token visivi e della latenza; il vincolo operativo è che il checkpoint occupa circa 14,3 GB e la configurazione raccomandata parte da 24 GB di memoria o VRAM, mentre la licenza commerciale gratuita vale solo sotto 1 milione di dollari di ricavi annui.
Che cosa è stato reso disponibile
La novità verificabile è il repository con checkpoint, configurazione, processor ed esempi eseguibili. Il modello accetta richieste testuali, immagini e video e produce testo; la scheda include percorsi separati per Transformers su Apple Silicon, vLLM e SGLang con API compatibili OpenAI.
Il costo reale dell’esecuzione locale
L’indice dei pesi dichiara circa 14,3 GB complessivi. Reka indica 24 GB di memoria come minimo su Mac Apple Silicon e, per Linux o WSL, 24 GB di VRAM più almeno 24 GB di RAM. Le quantizzazioni possono ampliare i dispositivi supportati, ma non sono equivalenti al checkpoint completo e vanno misurate sul proprio carico.
Token visivi e benchmark dichiarati
Per una immagine 1024×1024 la scheda riporta 331 token in ingresso, contro oltre mille per alcuni confronti scelti dal produttore. Riporta inoltre risultati su VQA-V2, MLVU, MMVU, RefCOCO e Mobile Actions. Questi numeri aiutano a definire un test, ma non sostituiscono una replica indipendente con prompt, hardware e versioni fissate.
Licenza e confine commerciale
I pesi sono disponibili, ma la licenza è personalizzata. La scheda consente uso commerciale incluso solo a chi realizza meno di 1 milione di dollari di ricavi annui; oltre quella soglia bisogna verificare e negoziare i termini. Per un deployment aziendale la revisione della licenza viene prima del benchmark.
Dove può avere senso
Il profilo è adatto a prototipi di analisi immagini e video, rilevamento di oggetti e agenti che usano strumenti vicino alla fonte dati. Il vantaggio locale dipende però dall’hardware, dalla quantizzazione, dal throughput richiesto e dal fatto che l’applicazione non continui a chiamare servizi remoti.
Condizioni e limitazioni
Benchmark, latenza e confronti sono dichiarazioni del produttore e non una verifica indipendente. La licenza non è open source in senso pieno: l’uso commerciale incluso è limitato alle organizzazioni sotto 1 milione di dollari di ricavi annui, mentre gli altri casi richiedono una licenza commerciale.
Checklist pratica
- Fissare il commit e leggere la licenza prima di scaricare i pesi.
- Verificare almeno 24 GB di memoria o VRAM disponibile e spazio per checkpoint e cache.
- Avviare un endpoint isolato con vLLM o SGLang e senza credenziali di produzione.
- Misurare qualità, token visivi, TTFT e memoria su un set proprio di immagini e video.
- Confrontare checkpoint completo e quantizzazione senza mescolare i risultati.
- Abilitare tool use solo dopo aver applicato privilegi minimi e limiti di rete.