Doppiare contenuti video in modo credibile richiede un equilibrio millimetrico tra fedeltà del significato, ritmo sillabico e coerenza timbrica. Le soluzioni cloud commerciali operano spesso come scatole chiuse in abbonamento, che ignorano i vincoli della metrica labiale e costringono a caricare materiale video riservato su server terzi.

DubAID nasce per superare questo limite: una pipeline di auto-doppiaggio interamente locale, modulare e verificabile a ogni singolo passaggio, progettata per tradurre e adattare video dall'italiano all'inglese rispettando le pause e il respiro dell'attore originale.

Il processo parte dall'isolamento vocale pulito e dalla separazione del background tramite MelBand-RoFormer o Demucs, con validazione automatica di RMS, LUFS e assenza di clipping prima di passare alla fase successiva.

La trascrizione vocale sfrutta Whisper large-v3 con timestamp a livello di singola parola, riorganizzati in frasi naturali basate su pause ed enfasi. Un LLM locale (LM Studio o Ollama con Qwen / Gemma) riceve vincoli rigorosi sul conteggio delle sillabe (5.5–6.5 sillabe/s) e sul registro espressivo: se la traduzione eccede la durata utile dello slot, il modello riscrive e condensa il testo in autonomia.

La generazione vocale si affida al modello neurale zero-shot Fish Audio S2 Pro via ComfyUI per il voice cloning, regolata da un controllo di time-stretch che limita la compressione entro un impercettibile ±8% evitando ogni taglio forzato.

La catena si conclude con un master audio mix deterministico in FFmpeg: ducking sidechain dinamico sulla musica (-6 dB), de-essing e normalizzazione loudness a due passate conforme agli standard web (-16 LUFS) e broadcast (-23 LUFS), con estrazione shot e face QC pronta per il conforming video e lip-sync neurale.