リアルタイム・フェイススワップの仕組み ─ AI動画処理の中身を分解する

リアルタイムの顔交換とは、置き換えたフレームを再生が待たずに済む速さで出せることです。毎秒30フレームなら1フレームあたり約 33ミリ秒、毎秒60フレームなら約 16.7ミリ秒 が予算になります。これを超えると、フレームを落とすか、プレビューの解像度を下げるか、再生より遅れるかのどれかになります。

この予算に届くかどうかは、モデル、解像度、ハードウェアで変わります。だからリアルタイムは機能名ではなく、測定できる性質として扱うのが妥当です。ここでは時間がどこで消えるのかと、自分の環境を測る方法を示します。

リアルタイムが現実的な場合とそうでない場合

ライブのプレビューが役に立つのは、書き出しを決める前に交換を判断したいときです。元の顔、難しい角度、表情などがそれにあたります。画質の保証ではなく、プレビューが追いついたからといって書き出し時間の短さを意味しません。

長時間の録画、まとめての処理、送りたくない素材には向きません。そこでは遅延より全体の処理時間が重要になります。こうした用途はローカル処理の流れと長い動画のガイドで扱っています。

ミリ秒はどこに消えるか

動画の交換は連鎖していて、どこか1か所が遅いとフレームが止まります。

1. デコード。 圧縮されたフレームを画素に戻します。FFmpeg のドキュメントはデコード、フィルター、エンコードの段階を説明しています。高解像度の素材は、顔に触れる前のここで時間を使います。
2. 検出。 顔ごとに枠と信頼度を返します。
3. ランドマーク。 目、鼻、口の位置を取ります。
4. 位置合わせ。 固定の正方形に合わせ、モデルがどれだけの顔を見るかが決まります。
5. 識別。 複数いる場合に、誰を置き換えるかを決めます。
6. 生成。 元の人物らしさから、相手の向きに合わせた顔を作ります。
7. なじませ。 合成し、録画する場合はエンコードします。

ここから2つの帰結があります。重要なのは平均速度ではなく処理量です。33ミリ秒は締め切りで、工程を重ねても連鎖全体が間に合わなければ意味がありません。そして解像度は複数の工程の作業量を同時に増やします。3840×2160 のフレームは 1920×1080 の4倍の画素を持つので、デコード、合成、エンコードは増えますが、顔モデルは固定サイズの切り抜きで動き続けることがあります。合計時間は増えても、きれいに4倍にはなりません。

このサイトの写真処理が示すもの

このサイトのブラウザーツールは静止画の処理で、どのコストも製品仕様で確認できます。そのため工程2から7の参考になります。

• 検出。 MediaPipe の FaceLandmarker を、1つの顔・静止画モードで使います（製品仕様）。ブラウザー内で動き、GPU を優先して失敗時は CPU に切り替わり、モデルは初回に Google の MediaPipe 配布元から取得します。
• 位置合わせ。 両目の中心、鼻先、口角の2点の計5点を、モデル本来の切り抜きサイズでテンプレートに合わせます（製品仕様）。inswapper_128 は128 px、Hyperswap 系は256 px です。
• なじませ。 手元のキャンバス上で透明度だけを変えます。輪郭ぼかし（0〜1、既定0.4）と 融合範囲（0〜50、既定50）を使います（製品仕様）。スライダーで顔が動くことはないので、ずれた切り抜きをスライダーで直すことはできません。
• 出力。 透かし入りの JPEG で、6 MiB の予算に収めるため品質を段階的に下げてエンコードします（製品仕様）。

検出が静止画モードなので、この処理は動く顔を追えません。ブラウザー工具が写真向けで、動画が Windows アプリの担当になる構造的な理由がここにあります。

写真リクエストに課される期限

1枚の交換にも予算があり、それが「なぜか失敗した」の多くを説明します。

• 同期処理は45秒、キューに入る処理は150秒（製品仕様）。
• 1セッションあたり毎分6件、1ネットワークあたり毎分12件の送信。
• 提供元への呼び出しは1日800回の共通上限（製品仕様）。

どれも品質を測るものではありません。サービスが適用する予算であり、ライブの動画処理も同じ種類の制約に対して設計されます。

失敗したときの意味

症状	原因	適用箇所
"No face detected"	ランドマークが取れない、または1つの明確な顔がない	製品仕様
送信前に拒否	JPG、PNG、WebP 以外、空のファイル、20 MB 超	製品仕様
写真が小さくなって届く	長辺4096 px または16 MP に縮小された	製品仕様
API が画像を拒否	6 MiB 超、16 MP 超、一辺8192 px 超、複数フレーム	製品仕様
"The free demo is at capacity"	提供元の1日の共通上限に達した	製品仕様
タイムアウト	45秒または150秒の期限が切れた	製品仕様

もう1つ、エラーではない失敗があります。プレビューは追いつくのに書き出しが追いつかない場合です。設定の違う別の実行なので、別々に時間を測ってください。

手元のPCでプレビューを試す

1. 正面向きのカット、首振り、顔の前を手や髪が横切る場面を含む短いクリップを選びます。
2. 場面の光に近い元写真を1枚用意します。
3. 何かを変える前に、解像度、GPU、設定を書き留めます。結果を1つの変数に結びつけるためです。
4. 難しい瞬間のあごの線、生え際、目を見ます。ずれ、継ぎ目、ちらつきがないか確認します。
5. 区間を書き出し、原寸で確認します。書き出しの判断をプレビューで済ませないでください。

動画でこのテストを行うのが ClapClip for Windows です。ローカルでプレビューし、PC 上で処理し、ダウンロードは無料、書き出しにはアプリ内での購入が必要です。デスクトップアプリのページに対応環境があり、PC ソフトの比較で代替案を扱っています。

デスクトップとオンラインは別の道具

ブラウザーの写真ツール	ClapClip for Windows
静止画のみ	写真と動画の編集
検出となじませはブラウザー、生成はサーバー	処理は PC 内で完結
無料、アカウント不要、交換回数の上限なし	ダウンロードは無料、書き出しはアプリ内購入
スマートフォンと最新のデスクトップOSで動作	Windows 10 または 11

カメラ入力は読み込んだファイルとは別の話です。カメラからの入力にはライブカメラの流れがあり、クリップのプレビューとは混同しないでください。

結果が写真ならブラウザーを使ってください。オンライン写真ツールはアカウント不要で、1回のリクエストで完了します。クリップを書き出し前に判断するならリアルタイムの流れを使い、素材を手元に置くことが決め手ならオフラインのガイドを読んでください。

よくある質問

ふつうのPCでもリアルタイムで動きますか？

動くこともありますが、答えは手元でのテストでしか出ません。フレームレートはモデル、解像度、顔の数、プレビュー設定で変わり、対応 GPU は可能性を上げても数値を保証しません。

4K の素材で遅くなるのはなぜですか？

4K のフレームは 1080p の4倍の画素を持ち、デコード、合成、エンコードの負荷が上がります。推論は固定サイズの切り抜きで動き、ほとんど変わらないこともあります。どこで時間を使うかで遅くなり方が変わります。

ローカル処理はクラウドより安全ですか？

ローカル推論はアップロードという経路を1つ減らすだけで、すべてを消すわけではありません。ファイルの権限、バックアップ、画面共有は残ります。デスクトップの窓があれば全部手元にあると決めつけず、アプリのプライバシー説明を読んでください。

どの工程がボトルネックですか？

機械によって違います。推論、デコード、合成、エンコードのどれも支配的になり得ます。ニューラルネットワークが遅いと決めつけず、連鎖全体を測ってください。

出典と範囲

MediaPipe Face Landmarkerは画像と動画のランドマークと変換を、FFmpeg のドキュメントはメディアのデコード、フィルター、エンコードを説明しています。これらは部品の説明であり、このサイトが特定の方法で処理を割り当てていることや、特定の速度に達することを示すものではありません。製品仕様への言及はブラウザーの写真処理を指し、デスクトップアプリの動画エンジンではありません。その所要時間はハードウェアと書き出し設定で変わります。出典の確認日は2026年10月12日です。