실시간 페이스 스왑은 어떻게 작동할까? AI 영상 처리 과정 해부

실시간 얼굴 교체란 바뀐 프레임을 재생이 기다리지 않을 만큼 빠르게 내보낸다는 뜻입니다. 초당 30프레임이면 프레임마다 약 33밀리초, 초당 60프레임이면 약 16.7밀리초가 예산입니다. 더 느리면 프레임을 버리거나, 미리보기 해상도를 낮추거나, 재생보다 뒤처져야 합니다.

이 예산에 닿는지는 모델, 해상도, 하드웨어에 달려 있습니다. 그래서 실시간은 기능 이름이 아니라 측정 가능한 성질로 다루는 편이 맞습니다. 여기서는 시간이 어디로 가는지와 내 환경을 재는 방법을 봅니다.

실시간이 현실적인 경우와 그렇지 않은 경우

라이브 미리보기는 결과를 확정하기 전에 교체를 판단해야 할 때 값을 합니다. 원본 얼굴, 어려운 각도, 표정 같은 경우입니다. 내보내기 품질의 약속은 아니고, 미리보기가 따라온다고 해서 내보내기 시간이 짧다는 뜻도 아닙니다.

긴 녹화, 묶음 작업, 올리고 싶지 않은소재에는 맞지 않습니다. 거기서는 지연보다 전체 처리 시간이 중요합니다. 이런 경우는 로컬 처리 흐름과 긴 영상 안내에서 다룹니다.

밀리초는 어디로 가는가

영상 교체는 하나의 사슬이고, 한 고리가 느리면 프레임이 멈춥니다.

1. 디코드. 압축된 프레임을 픽셀로 되돌립니다. FFmpeg 문서가 디코드, 필터, 인코드 단계를 설명합니다. 고해상도소재는 얼굴을 건드리기도 전에 여기서 시간을 씁니다.
2. 검출. 얼굴마다 상자와 신뢰도를 돌려줍니다.
3. 랜드마크. 눈, 코, 입 위치를 잡아 정렬할 수 있게 합니다.
4. 정렬. 고정된 정사각형으로 맞추며, 모델이 얼마나 많은 얼굴을 보는지가 여기서 정해집니다.
5. 식별. 여러 사람이 있을 때 누구를 바꿀지 정합니다.
6. 생성. 원본 인물의 특징으로 대상의 자세에 맞는 얼굴을 만듭니다.
7. 합성. 그리고 녹화 중이라면 프레임을 인코드합니다.

여기서 두 가지가 따라옵니다. 중요한 것은 평균 속도가 아니라 처리량입니다. 33밀리초는 마감 시각이고, 단계를 겹쳐도 사슬 전체가 따라오지 못하면 소용이 없습니다. 그리고 해상도는 여러 단계의 작업량을 동시에 늘립니다. 3840×2160 프레임은 1920×1080의 네 배 픽셀을 가져 디코드, 합성, 인코드가 늘지만, 얼굴 모델은 고정 크기 크롭에서 계속 돌 수 있습니다. 총 시간은 늘지만 깔끔하게 네 배가 되지는 않습니다.

이 사이트의 사진 처리가 보여주는 것

이 사이트의 브라우저 도구는 정지 이미지를 처리하고 모든 비용을 제품 사양에서 확인할 수 있어, 2~7단계의 참고가 됩니다.

• 검출. MediaPipe의 FaceLandmarker를 얼굴 하나, 정지 이미지 모드로 씁니다(제품 사양). 브라우저에서 돌고 GPU를 우선하며 실패하면 CPU로 넘어가고, 모델은 처음 사용할 때 Google의 MediaPipe 배포 위치에서 내려받습니다.
• 정렬. 양눈 중심, 코끝, 입꼬리 두 점의 다섯 점을 모델의 원래 크롭 크기로 템플릿에 맞춥니다(제품 사양). inswapper_128은 128 px, Hyperswap 계열은 256 px입니다.
• 합성. 내 캔버스에서 투명도만 바꾸며 가장자리 흐림(01, 기본 0.4)과 융합 영역(050, 기본 50)을 씁니다(제품 사양). 조절기로 얼굴이 움직이지 않으므로 잘못 정렬된 크롭을 조절기로 고칠 수는 없습니다.
• 출력. 워터마크가 있는 JPEG이며, 6 MiB 예산에 맞추려고 품질을 단계적으로 낮춰 인코드합니다(제품 사양).

검출이 정지 이미지 모드라서 이 흐름은 움직이는 얼굴을 따라가지 못합니다. 브라우저 도구가 사진용이고 영상이 Windows 앱의 몫인 구조적 이유입니다.

사진 요청에 붙는 마감 시간

한 장짜리 교체에도 예산이 있고, 그것이 "그냥 실패했다"의 대부분을 설명합니다.

• 동기 경로 45초, 대기열 작업 150초(제품 사양).
• 세션당 분 6건, 네트워크당 분 12건의 제출.
• 제공자 호출은 하루 800회의 공용 상한(제품 사양).

어느 것도 품질을 재지 않습니다. 서비스가 적용하는 예산이고, 라이브 영상 처리는 같은 종류의 한도에 맞춰 설계됩니다.

실패했을 때의 의미

증상	원인	적용 위치
"No face detected"	랜드마크를 찾지 못했거나 하나의 분명한 얼굴이 없음	제품 사양
보내기 전 거부	JPG, PNG, WebP 이외 형식, 빈 파일, 20 MB 초과	제품 사양
사진이 작아져 도착	긴 변 4096 px 또는 16 MP로 축소됨	제품 사양
API가 이미지 거부	6 MiB, 16 MP, 한 변 8192 px 초과 또는 여러 프레임	제품 사양
"The free demo is at capacity"	제공자의 하루 공용 상한 도달	제품 사양
시간 초과	45초 또는 150초 마감이 지남	제품 사양

오류가 아닌 실패도 하나 있습니다. 미리보기는 따라오는데 내보내기가 따라오지 않는 경우입니다. 설정이 다른 별개의 실행이므로 따로 시간을 재세요.

내 PC에서 미리보기 확인하기

1. 정면 컷, 고개 돌림, 얼굴 앞을 지나가는 손이나 머리카락이 들어간 짧은 클립을 고릅니다.
2. 장면의 빛과 비슷한 원본 사진을 한 장 준비합니다.
3. 무엇이든 바꾸기 전에 해상도, GPU, 설정을 적어 둡니다. 결과를 하나의 변수에 연결하기 위해서입니다.
4. 어려운 순간의 턱선, 이마선, 눈을 봅니다. 밀림, 이음새, 깜빡임이 있는지 확인합니다.
5. 구간을 내보내 원본 크기로 봅니다. 내보내기 판단을 미리보기로 대신하지 마세요.

영상에서 이 테스트를 하는 곳이 ClapClip for Windows입니다. 로컬 미리보기, PC에서의 처리, 무료 다운로드, 그리고 내보내기에는 앱 안에서의 구매가 필요합니다. 데스크톱 앱 페이지에 지원 환경이 있고, PC 소프트웨어 비교에서 대안을 다룹니다.

데스크톱과 온라인은 다른 도구

브라우저 사진 도구	ClapClip for Windows
정지 이미지만	사진과 영상 편집
검출과 합성은 브라우저, 생성은 서버	처리가 PC 안에서 끝남
무료, 계정 불필요, 교체 횟수 제한 없음	다운로드 무료, 내보내기는 앱 내 구매
휴대폰과 최신 데스크톱 OS에서 동작	Windows 10 또는 11

카메라 입력은 불러온 파일과 다른 경우입니다. 카메라 입력에는 라이브 카메라 흐름이 있고, 클립 미리보기와 혼동하면 안 됩니다.

결과가 사진이라면 브라우저를 쓰세요. 온라인 사진 도구는 계정이 필요 없고 한 번의 요청으로 끝납니다. 클립을 내보내기 전에 판단하려면 실시간 흐름을, 소재를 내 기기에 두는 것이 결정적이라면 오프라인 안내를 보세요.

자주 묻는 질문

일반 PC에서도 실시간으로 되나요?

될 때도 있지만 답은 내 기기에서의 시험으로만 나옵니다. 프레임레이트는 모델, 해상도, 얼굴 수, 미리보기 설정에 따라 달라지고, 맞는 GPU는 가능성을 높일 뿐 수치를 보장하지 않습니다.

4K 소재에서 느려지는 이유는 무엇인가요?

4K 프레임은 1080p의 네 배 픽셀을 가져 디코드, 합성, 인코드 비용이 커집니다. 추론은 고정 크기 크롭에서 돌아 거의 변하지 않을 수 있습니다. 얼마나 느려지는지는 내 흐름이 어디서 시간을 쓰는지에 달려 있습니다.

로컬 처리가 클라우드 도구보다 안전한가요?

로컬 추론은 업로드라는 경로 하나를 없앨 뿐, 전부를 없애지는 않습니다. 파일 권한, 백업, 화면 공유는 그대로 남습니다. 데스크톱 창이 있으면 모두 로컬이라고 가정하지 말고 앱의 개인정보 안내를 읽으세요.

어느 단계가 병목인가요?

기기에 따라 다릅니다. 추론, 디코드, 합성, 인코드가 각각 지배적일 수 있습니다. 신경망이 느리다고 단정하지 말고 사슬 전체를 재세요.

출처와 범위

MediaPipe Face Landmarker는 이미지와 영상의 랜드마크와 변환을, FFmpeg 문서는 미디어 디코드, 필터, 인코드를 설명합니다. 이 출처들은 구성 요소를 설명할 뿐, 이 사이트가 작업을 특정 방식으로 배분하거나 특정 속도에 도달한다는 증거가 아닙니다. 제품 사양 언급은 브라우저 사진 처리이며 데스크톱 앱의 영상 엔진이 아닙니다. 그 시간은 하드웨어와 내보내기 설정에 따라 달라집니다. 출처 확인일은 2026년 10월 12일입니다.