Comment fonctionne le face swap en temps réel ? Le pipeline IA décortiqué

Le temps réel signifie que la chaîne produit une image remplacée assez vite pour que la lecture n'attende pas. À 30 images par seconde, ce budget est d'environ 33 millisecondes par image ; à 60 images par seconde, d'environ 16,7 millisecondes. Tout ce qui est plus lent doit sauter des images, baisser la résolution de l'aperçu ou prendre du retard.

Atteindre ce budget dépend du modèle, de la résolution et du matériel : traitez donc le temps réel comme une propriété mesurable, pas comme un nom de fonction. On voit ici où part le temps et comment mesurer votre propre configuration.

Quand le temps réel est réaliste, et quand il ne l'est pas

Un aperçu en direct se justifie quand il faut juger un échange avant de lancer un rendu : un visage source, un angle difficile, une expression. Ce n'est pas une promesse de qualité d'export, et un aperçu qui suit le rythme ne dit rien du temps de rendu.

Il convient mal aux enregistrements longs, au travail par lots et aux images que vous préférez ne pas envoyer, où compte la durée totale et non la latence. Le flux local et le guide des vidéos longues traitent ces cas.

Où passent les millisecondes

Un échange en vidéo est une chaîne, et un maillon lent bloque l'image :

1. Décoder l'image compressée en pixels. La documentation de FFmpeg décrit les étapes de décodage, de filtrage et d'encodage ; les images haute résolution coûtent du temps ici avant même qu'un visage soit touché.
2. Détecter les visages, avec une boîte et un score de confiance par visage.
3. Placer les points des yeux, du nez et de la bouche pour permettre l'alignement.
4. Aligner dans un carré fixe, qui détermine la part de visage vue par le modèle.
5. Identifier la personne à remplacer quand plusieurs apparaissent.
6. Générer un visage à partir de l'identité source, ajusté à la pose de la cible.
7. Fondre, puis encoder l'image si vous enregistrez.

Deux conséquences en découlent. Ce qui compte est le débit, pas la vitesse moyenne : 33 ms sont une échéance, et le chevauchement des étapes n'aide que si la chaîne entière tient le rythme. Et la résolution multiplie le travail sur plusieurs étapes à la fois. Une image 3840×2160 porte quatre fois les pixels d'une 1920×1080 : décodage, composition et encodage augmentent, alors qu'un modèle de visage peut continuer à travailler sur un recadrage de taille fixe. Le temps total monte, mais pas selon un facteur quatre bien net.

Ce que montre le traitement photo de ce site

L'outil de navigateur de ce site traite des images fixes, et chacun de ses coûts est vérifiable dans la spécification du produit : il sert donc de référence utile pour les étapes 2 à 7.

• Détection. FaceLandmarker de MediaPipe, réglé sur un visage et en mode image fixe (spécification du produit). Il tourne dans le navigateur, privilégie le GPU et bascule sur le processeur si besoin, et télécharge son modèle depuis l'espace MediaPipe de Google au premier usage.
• Alignement. Cinq points — les deux centres des yeux, la pointe du nez et les deux coins de la bouche — sont ajustés au gabarit du modèle à sa taille de recadrage native (spécification du produit) : 128 px pour inswapper_128, 256 px pour les variantes Hyperswap.
• Fondu. Il s'exécute sur votre propre canevas et ne change que l'opacité, via Flou des bords (0 à 1, 0,4 par défaut) et Zone de fusion (0 à 50, 50 par défaut) (spécification du produit). Le visage ne bouge avec aucun curseur : un curseur ne rattrape pas un recadrage mal aligné.
• Sortie. Un JPEG filigrané, encodé sous un budget de 6 MiB en abaissant la qualité par paliers (spécification du produit).

La détection fonctionnant en mode image fixe, cette chaîne ne peut pas suivre un visage en mouvement. C'est la raison structurelle pour laquelle l'outil de navigateur est fait pour la photo et la vidéo pour l'application Windows.

Les échéances d'une requête photo

Même un échange unique a des budgets, et ils expliquent la plupart des « ça a simplement échoué » :

• 45 secondes pour la voie synchrone (spécification du produit), 150 secondes pour une tâche mise en file ;
• 6 envois par minute et par session, 12 par minute et par réseau ;
• un plafond quotidien partagé de 800 appels au fournisseur (spécification du produit).

Rien de tout cela ne mesure la qualité. Ce sont les budgets appliqués par le service, et une chaîne vidéo en direct serait conçue contre le même type de limite.

Ce qui échoue, et ce que l'échec signifie

Symptôme	Cause	Où c'est appliqué
« No face detected »	Aucun jeu de points trouvé, ou pas un seul visage net	Spécification du produit
Refus avant envoi	Type hors JPG, PNG et WebP, fichier vide, ou plus de 20 Mo	Spécification du produit
Une photo arrive plus petite	Redimensionnement à 4096 px sur le grand côté ou à 16 MP	Spécification du produit
Image refusée par l'API	Plus de 6 MiB, 16 MP, 8192 px par côté, ou plusieurs images	Spécification du produit
« The free demo is at capacity »	Plafond quotidien partagé du fournisseur atteint	Spécification du produit
Délai dépassé	L'échéance de 45 ou de 150 secondes a expiré	Spécification du produit

Un autre cas n'est pas une erreur : l'aperçu peut tenir le rythme et l'export non. Ce sont deux exécutions aux réglages différents, à chronométrer séparément.

Comment tester un aperçu sur votre PC

1. Choisissez un court extrait avec un plan de face, un mouvement de tête et une main ou une mèche qui croise le visage.
2. Préparez une photo source dont la lumière se rapproche de la scène.
3. Notez résolution, carte graphique et réglages avant de changer quoi que ce soit, pour pouvoir attribuer le résultat à une seule variable.
4. Surveillez la mâchoire, la ligne des cheveux et les yeux aux moments difficiles : glissement, couture ou scintillement.
5. Exportez un segment et revoyez-le en taille réelle. Ne jugez pas l'export depuis l'aperçu interactif.

ClapClip pour Windows est l'endroit où ce test se fait en vidéo : aperçu local, traitement sur le PC, téléchargement gratuit, et export soumis à un achat dans l'application. La page de l'application de bureau détaille la configuration prise en charge, et la comparaison de logiciels PC couvre les alternatives.

Bureau et navigateur : deux outils différents

Outil de navigateur pour photos	ClapClip pour Windows
Images fixes uniquement	Retouche photo et vidéo
Détection et fondu dans le navigateur, génération sur un serveur	Le traitement reste sur le PC
Gratuit, sans compte, sans limite d'échanges	Téléchargement gratuit ; l'export demande un achat dans l'application
Fonctionne sur mobile et sur tout système de bureau moderne	Windows 10 ou 11

L'entrée caméra est un autre cas qu'un fichier importé : elle passe par le flux caméra en direct, à ne pas confondre avec l'aperçu d'un clip.

Utilisez le navigateur quand le résultat est une photo : l'outil photo en ligne ne demande aucun compte et aboutit en une requête. Utilisez le flux temps réel pour juger un clip avant le rendu, et lisez le guide du hors-ligne si garder les images sur votre machine est le critère décisif.

Questions fréquentes

Le temps réel fonctionne-t-il sur un PC ordinaire ?

Parfois, et seul un test sur votre machine répond. La cadence dépend du modèle, de la résolution, du nombre de visages et des réglages d'aperçu ; un GPU compatible améliore les chances sans garantir de chiffre.

Pourquoi est-ce plus lent en 4K ?

Une image 4K a quatre fois les pixels d'une 1080p, ce qui renchérit décodage, composition et encodage. L'inférence peut tourner sur un recadrage fixe et ne presque pas changer. Le ralentissement dépend de l'endroit où votre chaîne passe son temps.

Le traitement local est-il plus privé qu'un outil cloud ?

L'inférence locale supprime l'envoi, qui est une voie d'exposition parmi d'autres. Les permissions de fichiers, les sauvegardes et le partage d'écran restent, donc lisez la documentation de confidentialité de l'application au lieu de supposer qu'une fenêtre de bureau garde tout en local.

Quelle étape est le goulot d'étranglement ?

Cela varie d'une machine à l'autre : inférence, décodage, composition ou encodage peuvent dominer tour à tour. Mesurez la chaîne entière plutôt que de supposer que le réseau de neurones est la partie lente.

Sources et portée

Le guide MediaPipe Face Landmarker documente les points et les transformations pour l'image et la vidéo, et la documentation FFmpeg couvre le décodage, le filtrage et l'encodage des médias. Ces sources expliquent les composants ; elles ne prouvent pas que ce site répartit le travail d'une manière particulière ni qu'il atteint une vitesse donnée. Les références à la spécification du produit décrivent la chaîne photo du navigateur, pas le moteur vidéo de l'application de bureau, dont les durées dépendent de votre matériel et des réglages d'export. Sources vérifiées le 12 octobre 2026.