Wie funktioniert Echtzeit-Face-Swap? Die KI-Video-Pipeline erklärt

Echtzeit-Gesichtstausch bedeutet: Die Verarbeitung liefert ein ersetztes Bild schnell genug, dass die Wiedergabe nicht darauf warten muss. Bei 30 Bildern pro Sekunde sind das rund 33 Millisekunden pro Bild, bei 60 Bildern pro Sekunde etwa 16,7 Millisekunden. Alles Langsamere muss Bilder auslassen, die Vorschauauflösung senken oder sichtbar hinterherlaufen.

Ob dieses Budget erreichbar ist, hängt vom Modell, der Auflösung und der Hardware ab. Behandle Echtzeit deshalb als prüfbare Eigenschaft und nicht als Funktionsnamen. Dieser Text zeigt, wo die Zeit bleibt und wie du deinen eigenen Aufbau messen kannst.

Wann Echtzeit realistisch ist und wann nicht

Eine Live-Vorschau ist sinnvoll, wenn du einen Tausch beurteilen willst, bevor du dich auf einen Export festlegst: ein Quellgesicht, ein schwieriger Winkel, ein Ausdruck. Sie ist kein Versprechen für die Exportqualität. Eine Vorschau, die mitkommt, sagt nichts über die Renderzeit aus.

Schlecht geeignet ist sie für lange Aufnahmen, Stapelarbeit und Material, das du lieber nicht hochlädst. Dort zählt die Gesamtdauer, nicht die Verzögerung. Der lokale Ablauf und der Leitfaden für lange Videos behandeln diese Fälle.

Wo die Millisekunden hingehen

Ein Videotausch ist eine Kette, und ein langsames Glied hält das Bild auf:

1. Dekodieren des komprimierten Bildes in Pixel. Die FFmpeg-Dokumentation beschreibt Dekodierung, Filterung und Kodierung; hochauflösendes Material kostet hier Zeit, bevor überhaupt ein Gesicht angefasst wird.
2. Erkennen von Gesichtern, mit Rahmen und Konfidenz pro Gesicht.
3. Landmarken an Augen, Nase und Mund setzen, damit das Gesicht ausgerichtet werden kann.
4. Ausrichten in ein festes Quadrat, das bestimmt, wie viel Gesicht das Modell sieht.
5. Zuordnen, welche Person ersetzt wird, wenn mehrere im Bild sind.
6. Erzeugen eines Gesichts aus der Quellidentität, angepasst an die Pose des Ziels.
7. Überblenden und, wenn du aufnimmst, das Bild kodieren.

Daraus folgen zwei Dinge. Entscheidend ist der Durchsatz, nicht die Durchschnittsgeschwindigkeit: 33 ms sind eine Frist, und überlappende Schritte helfen nur, wenn die Kette insgesamt mitkommt. Und Auflösung vervielfacht die Arbeit in mehreren Schritten gleichzeitig. Ein Bild mit 3840×2160 hat viermal so viele Pixel wie 1920×1080, also wachsen Dekodierung, Komposition und Kodierung, während ein Gesichtsmodell weiterhin auf einem festen Zuschnitt arbeitet. Die Gesamtzeit steigt, aber nicht sauber um den Faktor vier.

Was die Fotopipeline dieser Seite zeigt

Das Browserwerkzeug dieser Seite verarbeitet einzelne Bilder, und jeder Schritt ist in der Produktspezifikation nachvollziehbar. Damit taugt es als Referenz für die Schritte 2 bis 7.

• Erkennung nutzt den FaceLandmarker von MediaPipe, eingestellt auf ein Gesicht und auf den Modus für Standbilder (Produktspezifikation). Sie läuft im Browser, bevorzugt die GPU und fällt bei Bedarf auf die CPU zurück; das Modell wird beim ersten Einsatz aus dem Google-Speicher von MediaPipe geladen.
• Ausrichtung nimmt fünf Punkte — zwei Augenmitten, Nasenspitze, zwei Mundwinkel — und passt sie an die Vorlage des Modells in seiner nativen Zuschnittgröße an (Produktspezifikation): 128 px bei inswapper_128, 256 px bei den Hyperswap-Varianten.
• Überblendung läuft auf deiner eigenen Zeichenfläche und ändert nur die Deckkraft, über Kantenunschärfe (0 bis 1, Voreinstellung 0,4) und Fusionsbereich (0 bis 50, Voreinstellung 50) (Produktspezifikation). Das Gesicht verschiebt kein Regler; ein Regler kann einen falsch ausgerichteten Zuschnitt also nicht retten.
• Ausgabe ist ein JPEG mit Wasserzeichen, das unter einem Budget von 6 MiB kodiert wird, indem die Qualitätsstufe schrittweise sinkt (Produktspezifikation).

Weil die Erkennung im Standbildmodus läuft, kann diese Pipeline keinem bewegten Gesicht folgen. Genau deshalb ist das Browserwerkzeug für Fotos gedacht, und Videoarbeit gehört in die Windows-App.

Welche Fristen eine Fotoanfrage trägt

Auch ein einzelner Tausch hat Budgets, und sie erklären die meisten Fälle von "es ist einfach fehlgeschlagen":

• 45 Sekunden für den synchronen Pfad (Produktspezifikation), 150 Sekunden für einen eingereihten Auftrag;
• 6 Übermittlungen pro Minute je Sitzung und 12 pro Minute je Netzwerk;
• eine gemeinsame Obergrenze von 800 Anbieteraufrufen pro Tag (Produktspezifikation).

Nichts davon misst Qualität. Es sind die Budgets, die der Dienst durchsetzt, und eine Live-Videopipeline würde gegen dieselbe Art von Grenze entworfen.

Was schiefgeht und was der Fehler bedeutet

Symptom	Ursache	Durchgesetzt in
"No face detected"	Kein Landmark-Satz gefunden oder kein einzelnes klares Gesicht	Produktspezifikation
Vor dem Senden abgelehnt	Dateityp außerhalb JPG, PNG und WebP, leere Datei oder über 20 MB	Produktspezifikation
Ein Foto kommt kleiner an	Auf 4096 px an der langen Kante oder 16 MP skaliert	Produktspezifikation
Bild von der Schnittstelle abgelehnt	Über 6 MiB, 16 MP, 8192 px je Seite oder mehrere Frames	Produktspezifikation
"The free demo is at capacity"	Gemeinsame Tagesgrenze des Anbieters erreicht	Produktspezifikation
Zeitüberschreitung	Die Frist von 45 oder 150 Sekunden ist abgelaufen	Produktspezifikation

Ein weiterer Fall ist gar kein Fehler: Eine Vorschau kann mitkommen, während der Export es nicht tut. Das sind zwei verschiedene Läufe mit eigenen Einstellungen, also miss sie getrennt.

Wie du eine Vorschau auf deinem eigenen PC prüfst

1. Wähle einen kurzen Clip mit einer frontalen Einstellung, einer Drehung und einer Hand oder Haarsträhne vor dem Gesicht.
2. Bereite ein Quellfoto vor, dessen Licht zur Szene passt.
3. Notiere Auflösung, GPU und Einstellungen, bevor du etwas änderst, damit sich ein Ergebnis einer Variablen zuordnen lässt.
4. Achte an den schwierigen Stellen auf Kieferlinie, Haaransatz und Augen: Rutschen, Nähte oder Flimmern.
5. Exportiere einen Abschnitt und sieh ihn in voller Größe an. Beurteile den Export nicht anhand der interaktiven Vorschau.

ClapClip für Windows ist der Ort für diesen Test bei Video: lokale Vorschau, Verarbeitung auf dem PC, kostenloser Download, und der Export erfordert einen Kauf in der App. Die Seite zur Desktop-App listet die unterstützte Umgebung, und der Vergleich der PC-Programme behandelt Alternativen.

Desktop und Online sind verschiedene Werkzeuge

Browserwerkzeug für Fotos	ClapClip für Windows
Nur Standbilder	Foto- und Videobearbeitung
Erkennung und Überblendung im Browser, Erzeugung auf einem Server	Verarbeitung bleibt auf dem PC
Kostenlos, kein Konto, keine Begrenzung der Tauschvorgänge	Kostenloser Download; Export braucht einen Kauf in der App
Funktioniert auf Smartphones und jedem modernen Desktop-System	Windows 10 oder 11

Kameraeingabe ist ein anderer Fall als eine importierte Datei: Dafür gibt es den Live-Kamera-Ablauf, der nicht mit der Vorschau eines Clips zu verwechseln ist.

Nutze den Browser, wenn das Ergebnis ein Foto ist: Das Online-Fotowerkzeug braucht kein Konto und liefert ein Standbild in einem Aufruf. Für einen Clip nutze den Echtzeit-Ablauf, um ihn vor dem Rendern zu beurteilen, und lies den Leitfaden zu Offline-Tausch, wenn der Verbleib des Materials auf deinem Rechner das entscheidende Kriterium ist.

Häufige Fragen

Läuft Echtzeit-Gesichtstausch auf einem normalen PC?

Manchmal, und nur ein Test auf deiner Maschine beantwortet das. Die Bildrate hängt von Modell, Auflösung, Zahl der Gesichter und Vorschaueinstellungen ab; eine passende GPU verbessert die Chancen, ohne einen Wert zu garantieren.

Warum ist der Tausch bei 4K-Material langsamer?

Ein 4K-Bild hat viermal so viele Pixel wie 1080p, was Dekodierung, Komposition und Kodierung verteuert. Die Modellberechnung kann auf einem festen Zuschnitt laufen und sich kaum ändern. Wie stark es bremst, hängt davon ab, wo deine Pipeline ihre Zeit verbringt.

Ist lokale Verarbeitung privater als ein Cloud-Werkzeug?

Lokale Berechnung entfernt den Upload, und das ist einer von mehreren Wegen, auf denen Daten das Gerät verlassen. Dateirechte, Sicherungen und Bildschirmfreigaben gelten weiterhin. Lies die Datenschutzhinweise der App, statt anzunehmen, ein Desktopfenster halte alles lokal.

Welcher Schritt ist der Engpass?

Das ist von Maschine zu Maschine verschieden: Berechnung, Dekodierung, Komposition oder Kodierung können jeweils dominieren. Miss die ganze Kette, statt anzunehmen, das neuronale Netz sei der langsame Teil.

Quellen und Reichweite

Der MediaPipe Face Landmarker dokumentiert Landmarken und Transformationen für Bilder und Video, die FFmpeg-Dokumentation behandelt Dekodierung, Filterung und Kodierung von Medien. Diese Quellen erklären die Bausteine; sie belegen nicht, dass diese Seite Arbeit auf eine bestimmte Weise einteilt oder eine bestimmte Geschwindigkeit erreicht. Die Angaben zur Produktspezifikation beschreiben die Fotopipeline im Browser, nicht die Video-Engine der Desktop-App, deren Laufzeiten von deiner Hardware und den Exporteinstellungen abhängen. Quellen geprüft am 12. Oktober 2026.