Как работает замена лица в реальном времени? Разбор ИИ-конвейера

Замена лица в реальном времени означает, что конвейер выдаёт заменённый кадр достаточно быстро, чтобы воспроизведение его не ждало. При 30 кадрах в секунду бюджет — около 33 миллисекунд на кадр, при 60 кадрах — около 16,7 миллисекунды. Всё более медленное вынуждено пропускать кадры, снижать разрешение предпросмотра или отставать.

Достижим ли этот бюджет, зависит от модели, разрешения и железа, поэтому реальное время стоит считать измеримым свойством, а не названием функции. Ниже — куда уходит время и как измерить собственную конфигурацию.

Когда реальное время достижимо, а когда нет

Живой предпросмотр полезен, когда нужно оценить замену до запуска рендера: исходное лицо, сложный ракурс, выражение. Это не обещание качества экспорта, и предпросмотр, который успевает, ничего не говорит о времени рендера.

Он плохо подходит для длинных записей, пакетной работы и материала, который вы не хотите загружать: там важнее общее время, а не задержка. Эти случаи разобраны в локальном сценарии и руководстве по длинным видео.

Куда уходят миллисекунды

Замена на видео — это цепочка, и медленное звено останавливает кадр:

1. Декодирование сжатого кадра в пиксели. Документация FFmpeg описывает этапы декодирования, фильтрации и кодирования; материал высокого разрешения тратит время здесь ещё до того, как алгоритм коснётся лица.
2. Детекция лиц: рамка и уверенность для каждого лица.
3. Ключевые точки глаз, носа и рта, чтобы лицо можно было выровнять.
4. Выравнивание в фиксированный квадрат — от этого зависит, сколько лица увидит модель.
5. Идентификация, кого именно заменять, если в кадре несколько человек.
6. Генерация лица по исходной личности с подстройкой под позу цели.
7. Смешивание и, если вы записываете, кодирование кадра.

Отсюда два следствия. Важна пропускная способность, а не средняя скорость: 33 мс — это срок, и перекрытие этапов помогает только тогда, когда успевает вся цепочка. И разрешение одновременно увеличивает работу на нескольких этапах. Кадр 3840×2160 несёт в четыре раза больше пикселей, чем 1920×1080, поэтому декодирование, композиция и кодирование растут, а модель лица может по-прежнему работать с кропом фиксированного размера. Общее время увеличивается, но не ровно вчетверо.

Что показывает фотоконвейер этого сайта

Браузерный инструмент этого сайта обрабатывает статичные снимки, и каждую его стоимость можно сверить с продуктовой спецификацией — поэтому он годится как ориентир для этапов 2–7.

• Детекция. FaceLandmarker от MediaPipe, настроенный на одно лицо и режим статичного изображения (спецификация продукта). Работает в браузере, предпочитает GPU и при неудаче переходит на CPU; модель скачивается из хранилища MediaPipe от Google при первом использовании.
• Выравнивание. Пять точек — центры двух глаз, кончик носа и два уголка рта — подгоняются под шаблон в исходном размере кропа (спецификация продукта): 128 px для inswapper_128, 256 px для вариантов Hyperswap.
• Смешивание. Идёт на вашем собственном холсте и меняет только прозрачность, через размытие краёв (0–1, по умолчанию 0,4) и область объединения (0–50, по умолчанию 50) (спецификация продукта). Лицо не сдвигается ползунком, поэтому ползунок не исправит неверно выровненный кроп.
• Вывод. JPEG с водяным знаком, кодируемый в бюджет 6 MiB за счёт пошагового снижения качества (спецификация продукта).

Детекция работает в режиме статичного изображения, поэтому конвейер не может следить за движущимся лицом. Это структурная причина, по которой браузерный инструмент создан для фото, а видео — для приложения Windows.

Какие сроки несёт запрос на фото

Даже одиночная замена имеет бюджеты, и они объясняют большинство случаев «оно просто не сработало»:

• 45 секунд для синхронного пути (спецификация продукта), 150 секунд для задачи в очереди;
• 6 отправок в минуту на сеанс и 12 в минуту на сеть;
• общий потолок 800 обращений к провайдеру в сутки (спецификация продукта).

Ничто из этого не измеряет качество. Это бюджеты, которые применяет сервис, и живой видеоконвейер проектировался бы против такого же рода ограничения.

Что ломается и что это значит

Симптом	Причина	Где применяется
"No face detected"	Набор точек не найден или нет одного чёткого лица	Спецификация продукта
Отказ до отправки	Тип файла вне JPG, PNG и WebP, пустой файл или больше 20 MB	Спецификация продукта
Фото приходит меньше	Масштабирование до 4096 px по длинной стороне или 16 MP	Спецификация продукта
API отклоняет изображение	Больше 6 MiB, 16 MP, 8192 px по стороне или несколько кадров	Спецификация продукта
"The free demo is at capacity"	Достигнут общий суточный потолок провайдера	Спецификация продукта
Тайм-аут	Истёк срок 45 или 150 секунд	Спецификация продукта

Есть и случай, который не является ошибкой: предпросмотр успевает, а экспорт нет. Это два разных запуска с разными настройками, и замерять их нужно отдельно.

Как проверить предпросмотр на своём ПК

1. Возьмите короткий клип с фронтальным планом, поворотом головы и рукой или прядью, пересекающей лицо.
2. Подготовьте исходное фото со светом, близким к сцене.
3. Запишите разрешение, видеокарту и настройки до любых изменений, чтобы результат можно было отнести к одной переменной.
4. Смотрите на линию челюсти, линию роста волос и глаза в сложных местах: сползание, швы, мерцание.
5. Экспортируйте фрагмент и посмотрите его в полном размере. Не судите об экспорте по интерактивному предпросмотру.

ClapClip для Windows — место для такого теста с видео: локальный предпросмотр, обработка на ПК, бесплатная загрузка, а для экспорта нужна покупка внутри приложения. На странице приложения перечислены поддерживаемые конфигурации, а сравнение ПО для ПК рассматривает альтернативы.

Настольное приложение и браузер — разные инструменты

Браузерный инструмент для фото	ClapClip для Windows
Только статичные изображения	Фото и видео
Детекция и смешивание в браузере, генерация на сервере	Обработка остаётся на ПК
Бесплатно, без аккаунта, без ограничения числа замен	Бесплатная загрузка; экспорт требует покупки в приложении
Работает на телефонах и любой современной настольной ОС	Windows 10 или 11

Ввод с камеры — отдельный случай, не то же самое, что импортированный файл: для него есть сценарий живой камеры, и путать его с предпросмотром клипа не стоит.

Если результат — фото, используйте браузер: онлайн-инструмент для фото не требует аккаунта и завершается за один запрос. Чтобы оценить клип до рендера, возьмите сценарий реального времени, а если материал обязан остаться на вашей машине — прочитайте руководство по офлайн-замене.

Частые вопросы

Пойдёт ли реальное время на обычном ПК?

Иногда, и ответ даёт только тест на вашей машине. Частота кадров зависит от модели, разрешения, числа лиц и настроек предпросмотра; подходящая видеокарта повышает шансы, но не гарантирует цифру.

Почему с материалом 4K медленнее?

Кадр 4K имеет вчетверо больше пикселей, чем 1080p, поэтому декодирование, композиция и кодирование дорожают. Инференс может идти по кропу фиксированного размера и почти не меняться. Насколько медленнее — зависит от того, где ваш конвейер тратит время.

Локальная обработка приватнее облачной?

Локальный инференс убирает загрузку — один путь утечки, но не все. Права на файлы, резервные копии и демонстрация экрана остаются, поэтому читайте документацию приложения о приватности, а не предполагайте, что настольное окно оставляет всё локально.

Какой этап — узкое место?

Зависит от машины: инференс, декодирование, композиция или кодирование могут доминировать по очереди. Измеряйте всю цепочку, а не предполагайте, что медленная часть — нейросеть.

Источники и рамки

Руководство MediaPipe Face Landmarker описывает точки и преобразования для изображений и видео, а документация FFmpeg — декодирование, фильтрацию и кодирование медиа. Эти источники объясняют компоненты; они не доказывают, что сайт распределяет работу определённым образом или достигает определённой скорости. Ссылки на спецификацию продукта описывают фотоконвейер в браузере, а не видеодвижок настольного приложения, чьи сроки зависят от вашего железа и настроек экспорта. Источники проверены 12 октября 2026 года.