实时换脸是怎么工作的？拆解背后的 AI 视频处理流程

实时换脸指的是：处理管线出的替换帧足够快，播放不必等它。30 帧每秒时预算是每帧约 33 毫秒，60 帧每秒时约 16.7 毫秒。再慢就只能丢帧、降低预览分辨率，或者干脆落后于播放。

能不能达到这个预算，取决于模型、分辨率和硬件，所以把它当成一个可测量的性质，而不是一个功能名。下面说明时间花在哪里，以及怎么在自己的机器上测。

什么情况下实时是现实的

需要在下决心渲染之前判断一次换脸时，实时预览才有价值：一张源脸、一个难角度、一个表情。它不是导出质量的承诺，预览跟得上也不代表导出快。

长时间录制、批量任务、以及你不愿意上传的素材都不适合它，那里看的是总处理时间而不是延迟。本地流程和长视频两篇分别处理这些情况。

毫秒都花在哪

视频换脸是一条链，任何一环慢下来，帧就卡住：

1. 解码，把压缩帧还原成像素。FFmpeg 文档描述了编码、滤镜和解码这几个阶段；高分辨率素材在碰到脸之前就要在这里花时间。
2. 检测，给出每张脸的位置框和置信度。
3. 关键点，定位眼睛、鼻子和嘴，才好做对齐。
4. 对齐，装进一个固定正方形，这决定了模型能看到多少脸。
5. 识别，一帧里有多个人时决定替换谁。
6. 生成，按源人物的身份、贴合目标的姿态造出一张脸。
7. 融合，如果你在录制，再对帧编码。

由此有两点。重要的是吞吐而不是平均速度：33 毫秒是一条截止线，各阶段重叠也只有当整条链跟得上才有意义。另外，分辨率会同时抬高好几个阶段的工作量。3840×2160 的帧是 1920×1080 的四倍像素，解码、合成、编码都变大，而人脸模型可能仍在固定尺寸的裁剪上工作。总时间上升，但不会干净地乘以四。

本站的照片处理能说明什么

本站的浏览器工具处理静态图，每一项开销都能在源码里对照，因此适合当第 2 到第 7 步的参照。

• 检测用的是 MediaPipe 的 FaceLandmarker，按单脸、静态图模式配置（产品规格）。它在浏览器里跑，优先用 GPU，失败时回落到 CPU，模型首次使用时从 Google 的 MediaPipe 存储下载。
• 对齐取五个点——两个眼睛中心、鼻尖、两个嘴角——按模型原生裁剪尺寸套进模板（产品规格）：inswapper_128 是 128 px，Hyperswap 系列是 256 px。
• 融合在你自己的画布上只改透明度，用边缘模糊（0 到 1，默认 0.4）和融合面积（0 到 50，默认 50）（产品规格）。脸不会跟着滑杆移动，所以滑杆修不好一个没对齐的裁剪。
• 输出是带水印的 JPEG，在 6 MiB 的预算下逐级降低质量来编码（产品规格）。

检测跑在静态图模式，所以这条管线跟不上会动的脸。这就是浏览器工具只做照片、视频交给 Windows 应用的结构性原因。

一次照片请求要守的期限

哪怕只换一张，也有预算，它们解释了大多数"它就是失败了"：

• 同步路径 45 秒，排队任务 150 秒（产品规格）；
• 每个会话每分钟 6 次提交，每个网络每分钟 12 次；
• 每天 800 次服务商调用的共享上限（产品规格）。

这些都不衡量质量。它们是服务执行的预算，而一条实时视频管线也会针对同一类限制来设计。

失败时意味着什么

症状	原因	在哪里生效
"No face detected"	没有取到关键点，或没有一张单独而清晰的脸	产品规格
发送前就被拒	格式不在 JPG、PNG、WebP 之内，空文件，或超过 20 MB	产品规格
照片变小了	被缩到长边 4096 px 或 16 MP	产品规格
接口拒收图片	超过 6 MiB、16 MP、单边 8192 px，或包含多帧	产品规格
"The free demo is at capacity"	服务商的每日共享上限已用尽	产品规格
超时	45 秒或 150 秒的期限到了	产品规格

还有一种情况不算错误：预览跟得上，导出却跟不上。那是两次设置不同的运行，要分别计时。

怎么在自己的电脑上测预览

1. 挑一段短片段，包含正脸、转头、以及手或头发扫过脸的画面。
2. 准备一张光线接近场景的源照片。
3. 改动之前先记下分辨率、显卡和设置，这样结果才能归因到一个变量。
4. 在难处理的瞬间盯住下颌线、发际线和眼睛：有没有滑动、接缝或闪烁。
5. 导出一小段，按原始尺寸看。不要用交互预览来判断导出效果。

需要给视频做这个测试，用的是 ClapClip Windows 版：本地预览、在本机处理、免费下载，导出需要在应用内购买。桌面版页面列出了支持的环境，PC 软件对比讨论了替代方案。

桌面和在线是两套工具

浏览器照片工具	ClapClip Windows 版
只处理静态图	照片和视频都能编辑
检测与融合在浏览器，生成在服务器	处理留在电脑上
免费、无账号、换脸次数不限	免费下载；导出需在应用内购买
手机和任何现代桌面系统都能用	Windows 10 或 11

摄像头输入是另一回事，和导入文件不同：它走实时摄像头流程，别和片段的预览混为一谈。

结果是照片就用浏览器：在线照片工具不用账号，一次请求就结束。要在渲染前判断片段，走实时流程；如果素材必须留在自己机器上是决定因素，先读离线换脸指南。

常见问题

普通电脑能跑实时换脸吗？

有时可以，只有在你机器上测一次才算数。帧率取决于模型、分辨率、人脸数量和预览设置；合适的显卡提高可能性，但不保证任何数字。

为什么 4K 素材更慢？

4K 一帧的像素是 1080p 的四倍，解码、合成和编码都更贵。模型推理可能跑在固定尺寸的裁剪上，几乎不变。慢多少取决于你的管线把时间花在哪。

本地处理比云端更私密吗？

本地推理去掉的是上传这一条泄露路径，不是全部。文件权限、备份、屏幕共享依然存在，所以去读应用的隐私说明，而不是假设一个桌面窗口就把一切留在本地。

哪一步是瓶颈？

每台机器都不一样：推理、解码、合成、编码都可能成为主导。测整条链，别假设神经网络一定是最慢的部分。

资料来源与范围

MediaPipe Face Landmarker记录了图像和视频的关键点与变换，FFmpeg 文档覆盖媒体的解码、滤镜与编码。这些资料解释的是零件，不能证明本站以某种方式调度任务或达到某个速度。文中引用的产品规格描述的是浏览器里的照片管线，不是桌面应用的视频引擎，后者的耗时取决于你的硬件和导出设置。资料核对日期：2026 年 10 月 12 日。