NVIDIA Nemotron Audex: il modello audio aperto, come usarlo

NVIDIA ha pubblicato su Hugging Face, il 6 luglio, Nemotron Audex 30B-A3B, un modello aperto che porta in un solo sistema quattro capacita' finora spesso separate: comprensione dell'audio, trascrizione del parlato (ASR), sintesi vocale (text-to-speech) e traduzione del parlato. E' un modello "audio-linguistico" con ragionamento, distribuito con pesi scaricabili: chi ha l'hardware adatto puo' eseguirlo in locale.

Che tipo di modello e'

La sigla "30B-A3B" indica un'architettura Mixture-of-Experts: il modello conta circa 30 miliardi di parametri totali, ma ne attiva soltanto una frazione (indicativamente 3 miliardi, gli "A3B") per ogni token elaborato. Il vantaggio di questo schema e' pratico: si ottiene la qualita' associata a un modello grande con un costo di calcolo per inferenza piu' vicino a quello di un modello piccolo. Il modello e' descritto nel paper tecnico depositato su arXiv (2607.05196) e distribuito nel formato standard safetensors, compatibile con la libreria transformers.

Requisiti e a chi serve

A chi serve? A sviluppatori e aziende che vogliono un'unica base aperta per compiti vocali - assistenti, sottotitolazione, doppiaggio automatico, analisi di registrazioni - senza dipendere da servizi cloud a pagamento e mantenendo i dati in casa. Sul fronte hardware, pur attivando solo 3 miliardi di parametri, il modello va comunque caricato per intero in memoria: per eseguirlo in modo confortevole conviene disporre di una GPU con diversi gigabyte di VRAM. Chi non ha una scheda potente puo' valutare versioni quantizzate della community, quando disponibili, che riducono l'occupazione di memoria.

Come scaricarlo e provarlo

Il modo piu' diretto e' scaricare i pesi dal repository ufficiale con lo strumento a riga di comando di Hugging Face:

pip install -U "huggingface_hub[cli]" transformers torch
huggingface-cli download nvidia/Nemotron-Labs-Audex-30B-A3B --local-dir ./audex

Prima di scrivere codice, e' fondamentale leggere la scheda del modello (la "model card") sulla pagina di Hugging Face: contiene le istruzioni esatte di caricamento, il formato dei prompt audio e i comandi specifici per ciascun compito (trascrizione, sintesi, traduzione), che possono variare rispetto a un modello testuale tradizionale. Uno schema generale di uso in Python, da adattare seguendo la documentazione ufficiale, e' il seguente:

from transformers import AutoModel, AutoProcessor

processor = AutoProcessor.from_pretrained("nvidia/Nemotron-Labs-Audex-30B-A3B", trust_remote_code=True)
model = AutoModel.from_pretrained("nvidia/Nemotron-Labs-Audex-30B-A3B", trust_remote_code=True)

# Carica un file audio e chiedi la trascrizione seguendo il formato indicato nella model card
# (input audio + istruzione testuale, es. "Trascrivi questo audio")

Il risultato atteso, per un compito di trascrizione, e' il testo corrispondente al parlato contenuto nel file audio; per la sintesi, un file audio generato a partire da un testo; per la traduzione, il parlato reso in un'altra lingua. Verifica sempre sulla model card quali lingue e formati sono effettivamente supportati.

Perche' conta un modello audio aperto

Fino a poco fa i compiti vocali richiedevano di combinare piu' modelli specializzati - uno per la trascrizione, uno per la sintesi, uno per la traduzione. Un modello unico e aperto come Nemotron Audex semplifica l'architettura e abbatte i costi, soprattutto per chi elabora grandi volumi di audio o deve rispettare vincoli di riservatezza. Si affianca ad alternative note come Whisper per la trascrizione, ma con l'ambizione di coprire l'intero ciclo del parlato in un solo strumento. Per chi costruisce prodotti vocali in italiano, la disponibilita' di basi aperte e' anche una questione di sovranita' tecnologica: poter eseguire tutto in locale, senza inviare le voci degli utenti a server di terzi.