Come funziona il face swap in tempo reale? Dentro la pipeline di IA

Tempo reale significa che la pipeline produce un fotogramma sostituito abbastanza in fretta da non far aspettare la riproduzione. A 30 fotogrammi al secondo il budget è di circa 33 millisecondi per fotogramma, a 60 fps circa 16,7 millisecondi. Tutto ciò che è più lento deve scartare fotogrammi, abbassare la risoluzione dell'anteprima o restare indietro.

Raggiungere quel budget dipende dal modello, dalla risoluzione e dall'hardware: conviene quindi trattarlo come una proprietà misurabile, non come il nome di una funzione. Qui si vede dove finisce il tempo e come misurare la propria configurazione.

Quando il tempo reale è realistico e quando no

Un'anteprima dal vivo ha senso quando devi giudicare uno scambio prima di impegnarti in un render: un volto sorgente, un'angolazione difficile, un'espressione. Non è una promessa sulla qualità dell'esportazione, e un'anteprima che tiene il passo non dice nulla sui tempi di render.

È poco adatta a registrazioni lunghe, lavoro in batch e materiale che preferisci non caricare, dove conta il tempo totale e non la latenza. Il flusso locale e la guida ai video lunghi trattano quei casi.

Dove finiscono i millisecondi

Lo scambio su video è una catena, e un anello lento blocca il fotogramma:

1. Decodifica del fotogramma compresso in pixel. La documentazione di FFmpeg descrive le fasi di decodifica, filtro e codifica; il materiale ad alta risoluzione costa tempo qui prima ancora di toccare un volto.
2. Rilevamento dei volti, con riquadro e confidenza per ciascuno.
3. Punti di riferimento su occhi, naso e bocca, per poter allineare.
4. Allineamento in un quadrato fisso, che decide quanto volto vede il modello.
5. Identificazione di chi sostituire quando nel fotogramma ci sono più persone.
6. Generazione di un volto dall'identità sorgente, adattato alla posa del soggetto.
7. Fusione e, se stai registrando, codifica del fotogramma.

Ne derivano due conseguenze. Conta la portata, non la velocità media: 33 ms sono una scadenza, e sovrapporre le fasi aiuta solo se l'intera catena tiene il passo. E la risoluzione moltiplica il lavoro su più fasi insieme. Un fotogramma 3840×2160 ha quattro volte i pixel di uno 1920×1080, quindi decodifica, composizione e codifica crescono, mentre un modello per il volto può continuare a lavorare su un ritaglio di dimensione fissa. Il tempo totale sale, ma non di un fattore quattro pulito.

Cosa mostra la pipeline foto di questo sito

Lo strumento nel browser di questo sito elabora immagini ferme, e ogni costo è verificabile nella specifica del prodotto: per questo è un riferimento utile per le fasi da 2 a 7.

• Rilevamento. Usa FaceLandmarker di MediaPipe, configurato per un solo volto e in modalità immagine ferma (specifica del prodotto). Gira nel browser, preferisce la GPU e ripiega sulla CPU, e scarica il modello dallo spazio MediaPipe di Google al primo utilizzo.
• Allineamento. Prende cinque punti — i due centri degli occhi, la punta del naso e i due angoli della bocca — e li adatta al modello alla dimensione nativa del ritaglio (specifica del prodotto): 128 px per inswapper_128, 256 px per le varianti Hyperswap.
• Fusione. Avviene sul tuo canvas e cambia solo l'opacità, con sfocatura bordi (0–1, predefinito 0,4) e area di fusione (0–50, predefinito 50) (specifica del prodotto). Il volto non si sposta con nessun controllo, quindi un cursore non corregge un ritaglio disallineato.
• Output. Un JPEG con filigrana, codificato entro un budget di 6 MiB abbassando la qualità a passi (specifica del prodotto).

Poiché il rilevamento lavora in modalità immagine ferma, questa pipeline non può seguire un volto in movimento. È la ragione strutturale per cui lo strumento nel browser è per le foto e il video appartiene all'app per Windows.

Le scadenze di una richiesta foto

Anche uno scambio singolo ha budget, e spiegano la maggior parte dei "ha semplicemente fallito":

• 45 secondi per il percorso sincrono (specifica del prodotto), 150 secondi per un lavoro in coda;
• 6 invii al minuto per sessione e 12 al minuto per rete;
• un tetto giornaliero condiviso di 800 chiamate al fornitore (specifica del prodotto).

Niente di tutto questo misura la qualità. Sono i budget applicati dal servizio, e una pipeline video dal vivo sarebbe progettata contro lo stesso tipo di limite.

Cosa fallisce e cosa significa

Sintomo	Causa	Dove è applicato
"No face detected"	Nessun insieme di punti o nessun volto singolo e nitido	Specifica del prodotto
Rifiuto prima dell'invio	Tipo fuori da JPG, PNG e WebP, file vuoto o oltre 20 MB	Specifica del prodotto
La foto arriva più piccola	Ridimensionata a 4096 px sul lato lungo o 16 MP	Specifica del prodotto
L'API rifiuta l'immagine	Oltre 6 MiB, 16 MP, 8192 px per lato o più fotogrammi	Specifica del prodotto
"The free demo is at capacity"	Tetto giornaliero condiviso del fornitore raggiunto	Specifica del prodotto
Timeout	Scaduto il termine di 45 o di 150 secondi	Specifica del prodotto

C'è poi un caso che non è un errore: l'anteprima tiene il passo e l'esportazione no. Sono esecuzioni diverse con impostazioni diverse, quindi cronometrale separatamente.

Come provare un'anteprima sul tuo PC

1. Scegli una clip breve con un piano frontale, un giro e una mano o un ciuffo che attraversa il volto.
2. Prepara una foto sorgente con una luce vicina a quella della scena.
3. Annota risoluzione, GPU e impostazioni prima di cambiare qualcosa, così da attribuire il risultato a una sola variabile.
4. Guarda linea della mascella, attaccatura dei capelli e occhi nei momenti difficili: slittamenti, cuciture o sfarfallii.
5. Esporta un segmento e guardalo a dimensione piena. Non giudicare l'esportazione dall'anteprima interattiva.

ClapClip per Windows è il posto dove fare questo test sul video: anteprima locale, elaborazione sul PC, download gratuito, ed esportazione con acquisto in-app. La pagina dell'app desktop elenca la configurazione supportata, e il confronto dei software per PC copre le alternative.

Desktop e browser sono strumenti diversi

Strumento nel browser per foto	ClapClip per Windows
Solo immagini ferme	Foto e video
Rilevamento e fusione nel browser, generazione su un server	L'elaborazione resta sul PC
Gratuito, senza account, senza limite di scambi	Download gratuito; l'esportazione richiede un acquisto in-app
Funziona su telefoni e su qualsiasi desktop moderno	Windows 10 o 11

L'input da webcam è un caso diverso da un file importato: per quello c'è il flusso da webcam dal vivo, da non confondere con l'anteprima di una clip.

Se il risultato è una foto, usa il browser: lo strumento foto online non chiede account e si chiude in una richiesta. Per giudicare una clip prima del render usa il flusso in tempo reale; se tenere il materiale sulla tua macchina è il criterio decisivo, leggi la guida allo scambio offline.

Domande frequenti

Il tempo reale funziona su un PC normale?

A volte, e solo una prova sulla tua macchina risponde. Il frame rate dipende da modello, risoluzione, numero di volti e impostazioni dell'anteprima; una GPU compatibile alza le probabilità senza garantire una cifra.

Perché è più lento con materiale 4K?

Un fotogramma 4K ha quattro volte i pixel di un 1080p, quindi decodifica, composizione e codifica costano di più. L'inferenza può girare su un ritaglio fisso e cambiare pochissimo. Quanto pesa dipende da dove la tua pipeline spende il tempo.

L'elaborazione locale è più privata di uno strumento cloud?

L'inferenza locale elimina il caricamento, che è una via di esposizione, non tutte. Permessi sui file, backup e condivisione dello schermo restano, quindi leggi la documentazione sulla privacy dell'app invece di dare per scontato che una finestra desktop tenga tutto in locale.

Quale fase è il collo di bottiglia?

Cambia da macchina a macchina: inferenza, decodifica, composizione o codifica possono dominare a turno. Misura l'intera catena invece di supporre che la rete neurale sia la parte lenta.

Fonti e ambito

La guida di MediaPipe Face Landmarker documenta punti e trasformazioni per immagini e video, e la documentazione FFmpeg copre decodifica, filtraggio e codifica dei media. Queste fonti spiegano i componenti; non dimostrano che questo sito distribuisca il lavoro in un modo preciso o raggiunga una velocità precisa. I riferimenti alla specifica del prodotto descrivono la pipeline foto nel browser, non il motore video dell'app desktop, i cui tempi dipendono dal tuo hardware e dalle impostazioni di esportazione. Fonti verificate il 12 ottobre 2026.