GRACE: 영상 생성 AI가 다루는 토큰을 줄이되 화질을 지키는 압축 학습

배경과 문제

영상 확산 모델은 반복적으로 잠재 토큰을 잡음 제거하는데, DiT의 어텐션 연산은 토큰 수의 제곱에 비례해 커진다. 따라서 오토인코더가 영상을 더 강하게 압축해 토큰 수를 줄이면 계산 비용을 직접 낮출 수 있다. 그러나 압축률을 높이면 잠재 표현의 용량이 줄어 재구성 품질이 떨어지고, 이를 보완하려고 각 토큰의 채널 수를 늘리면 DiT의 수렴이 느려지고 생성 품질이 나빠지는 상충 관계가 생긴다.

또한 압축된 잠재 공간은 DiT가 사전 학습된 공간과 달라지므로, 기존 DiT를 처음부터 다시 학습하거나 상당한 비용으로 적응시켜야 한다. 이미 학습된 오토인코더를 더 압축하는 방식은 호환성을 유지할 것처럼 보이지만, 재구성만을 목표로 최적화하면 잠재 표현이 DiT가 학습한 분포에서 벗어나 생성 품질이 떨어진다. 이 연구는 이 두 가지 어려움, 즉 사전 학습된 지식을 활용하면서 재구성과 생성 품질의 간극을 줄이는 문제를 다룬다.

기존 접근의 한계

기존의 고압축 오토인코더들은 대부분 처음부터 새로 학습되며, 채널 수를 늘려 재구성 품질을 유지한다. 예를 들어 LTX-V AE는 공간 32배, 시간 8배 압축에 채널 128개를 사용하지만, 이렇게 넓은 잠재 표현은 DiT가 학습하기 어렵고 생성 품질이 떨어질 수 있다. 또한 오토인코더 구조를 바꾸면 사전 학습된 가중치를 활용하지 못하고 학습 비용이 커진다.

사전 학습된 DiT를 재사용하는 방법도 있다. DC-Gen은 새로운 잠재 공간에 DiT를 적응시키지만, 원래 잠재 공간과 완전히 달라 적응이 어렵고 Open-Sora 2.0은 160개의 GPU에서도 완전히 수렴하지 못했다고 보고된다. 사전 학습된 오토인코더에 가벼운 압축 블록을 추가하는 방법도 시도했지만, 재구성만으로 최적화하면 잠재 분포가 이동해 생성 품질이 떨어지는 것이 실험적으로 확인되었다.

연구방법을 단계별로

GRACE는 2단계로 구성된다. 1단계에서는 오토인코더를 이중 잠재 표현으로 미세 조정한다. 먼저 입력 영상을 공간·시간으로 다운샘플링한 뒤, 얼어붙은 사전 학습 인코더에 통과시켜 '기반 잠재 표현'을 얻는다. 이는 원래 DiT가 학습한 공간에 가깝게 유지하는 닻 역할을 한다. 동시에 전체 해상도 입력을 받는 '잔차 인코더'가 기반 표현이 담지 못한 세부 정보와 프레임 간 움직임을 별도의 채널에 담는다. 두 표현은 채널 축으로 연결되어 압축된 잠재 표현을 이룬다.

이중 표현만으로는 높은 압축률에서 부족하다. 잔차 채널은 재구성 손실로만 학습되므로 DiT가 얼마나 쉽게 배울 수 있는지는 고려되지 않는다. 이를 해결하기 위해 '생성 인식 정렬'을 도입한다. 압축된 잠재 표현과 원래 잠재 표현에 같은 수준의 잡음을 더한 뒤, 얼어붙은 DiT의 중간 특징 공간에서 코사인 유사도를 비교한다. 이 정렬 손실은 재구성 손실과 적응적 가중치로 결합되어, 압축된 표현이 DiT의 사전 학습된 분포와 호환되도록 유도한다.

2단계에서는 오토인코더를 얼린 채 DiT를 압축된 잠재 표현에 적응시킨다. 잔차 채널을 처리하기 위해 입력·출력 투영을 확장하고, 트랜스포머 블록에는 LoRA를 적용해 적응 비용을 낮춘다. 핵심은 '비대칭 잡음 제거'로, 기반 잠재 표현을 잔차보다 항상 앞선 시간 단계에서 잡음 제거한다. 이렇게 하면 기반 표현이 먼저 안정된 구조를 제공하고, 잔차 표현이 그 위에 세부 정보를 복원하기 쉬워진다. 두 표현은 한 번의 순전파에서 함께 처리되므로 추가 샘플링 비용은 없다.

결과와 숫자의 의미

Wan2.1-I2V-14B를 기준으로 480×832 해상도, 81프레임 영상에서 GRACE는 잠재 토큰 수를 32.8k에서 4.3k로 약 8배 줄였다. 단일 A100 GPU에서 50 샘플링 스텝 기준 생성 시간은 863.2초에서 77.7초로 11.1배 빨라졌다. VBench-I2V 총점은 압축 전 87.92에서 87.90으로 0.02점 차이에 불과해 생성 품질을 거의 유지했다. 텍스트-비디오(T2V)에서는 총점이 83.93에서 85.81로 오히려 높아졌는데, 이는 의미 점수가 78.70에서 84.98로 크게 오른 덕분이다. 이 시간은 A100 SXM4-80GB의 bfloat16 실행에서 조건 영상 인코딩·잡음 제거·영상 디코딩을 포함하고, 모델 로딩·텍스트 인코딩·MP4 저장은 제외한다. 따라서 사용자가 요청해서 파일을 받기까지의 모든 시간을 잰 값은 아니다.

재구성 품질과 생성 품질은 별개라는 점이 표 1에서 드러난다. GRACE-V AE의 PSNR은 32.63 dB로 단일 잠재 기준선의 33.76 dB보다 1.13 dB 낮지만, VBench-I2V 총점은 87.90으로 기준선의 86.44보다 1.46점 높다. Step-Video-V AE는 LTX-V AE보다 PSNR이 1.91 dB 높지만 VBench-I2V는 3.01점 낮다. 이는 재구성 충실도만으로는 생성 품질을 결정하지 못함을 보여준다.

해상도가 736×1280으로 높아지면 속도 향상은 15.5배로 커진다. 이는 더 많은 토큰을 다루는 해당 고해상도 설정에서 관찰한 결과다. 해상도를 높일수록 항상 같은 비율로 빨라진다는 법칙을 입증한 것은 아니다. 다만 이 수치는 특정 모델, 해상도, 프레임 수, 샘플링 스텝, 하드웨어 조건에서 측정된 것이며 모든 경우에 적용되는 것은 아니다.

구체적인 예시

그림 3은 이중 잠재 표현과 정렬 손실의 효과를 보여준다. 단일 잠재 표현은 인물의 몸이 왜곡되고 색상이 부자연스러운 반면, 이중 표현은 왜곡이 줄고 색이 자연스러워진다. 정렬 손실을 추가하면 잠재 분포의 균일성 지표(변이 계수, 지니 계수, 정규화 엔트로피)가 모두 개선되고, PCA 시각화에서 잡음이 줄어들며 객체 영역을 따라 구조가 유지된다.

비대칭 잡음 제거의 효과는 그림 4에서 확인할 수 있다. 같은 시간 단계로 두 표현을 잡음 제거하면 움직임이 큰 부분에서 얼굴 디테일이 손상되지만, 기반 표현을 앞세우면 디테일이 복원된다. 표 6의 구성 요소 비교 실험에서 기반 표현을 먼저 잡음 제거하는 설정이 I2V 총점 87.90으로, 동시에 처리하는 설정의 87.51보다 높고, 순서를 반대로 하면 87.17로 떨어진다.

한계와 오해하기 쉬운 점

GRACE는 학습 없이 기존 영상 모델에 바로 적용할 수 있는 설정이 아니다. 원래 DiT의 기본 표현과 고정 DiT 특징 정렬을 활용하지만, 오토인코더 학습과 DiT의 LoRA 적응이 필요하다. 새로운 파이프라인마다 1단계 학습을 다시 해야 하며, 이 연구 조건에서는 8.5 H200 GPU days가 소요된다. 이 8.5일은 오토인코더를 위한 1단계 비용이며, DiT 적응 30 H200 GPU days까지 포함하면 연구의 전체 예산은 38.5 H200 GPU days다. GPU days는 사용한 GPU 수와 시간을 곱한 계산량으로, 장비 한 대에서의 실제 달력 일수와 항상 같지는 않다.

압축으로 인해 작은 얼굴, 간판 문자, 가는 구조물이 손실되거나 깨질 수 있다. 재구성 PSNR은 단일 잠재 기준선보다 1.13 dB 낮으며, 생성 지표와 원본 복원 정확도는 별개다. 또한 LTX-Video와 Open-Sora는 모델 크기와 학습 데이터가 다르고 추가 가이던스 분기로 150 NFE를 사용하므로, Wan 기반 100 NFE와의 단순 아키텍처 공정 비교로 해석해서는 안 된다. 비교 구현도 그대로 같지는 않다. LTX-Video는 다중 해상도 처리와 업스케일러를 끈 단일 50스텝으로 평가했고, 생성기마다 권장 프롬프트 확장 방식이 다르다.

자동 지표가 비슷하다는 사실이 사람의 품질 판단까지 같다는 뜻은 아니다. 부록의 블라인드 평가에는 39명이 참여했고, T2V와 I2V에서 각각 40개 프롬프트를 골라 두 기준선과 비교한 160쌍을 평가했다. 각 조건·기준선·평가 항목당 156개 판단이다. 원래 Wan2.1과 비교한 I2V 시각 품질에서는 GRACE 선호가 23.7%, 동률이 32.7%, Wan2.1 선호가 43.6%였다. 시간적 일관성과 텍스트 정합성도 I2V에서는 Wan2.1 선호가 더 높았다. 반면 T2V의 세 항목에서는 GRACE가 더 선호되었다. 따라서 ‘품질 유지’는 주로 제시한 VBench 총점에 한정해 읽어야 한다.

실제로 어떻게 활용할까

GRACE는 사전 학습된 영상 생성 파이프라인의 추론 속도를 높이면서 생성 품질을 유지해야 하는 서비스 환경에 적합하다. 논문에서는 480×832와 736×1280의 81프레임 영상에서 속도 이득을 확인했다. 그보다 높은 해상도나 긴 영상의 비용 절감 폭은 별도 검증이 필요하다. 다만 적용하려면 대상 파이프라인의 오토인코더와 DiT를 추가 학습해야 하므로, 초기 학습 비용과 추론 비용 절감을 함께 고려해야 한다.

이 방법은 재구성 품질보다 생성 품질을 우선시하므로, 원본 영상의 정확한 복원이 중요한 압축 코덱 용도보다는 생성 모델의 가속에 특화되어 있다. 작은 객체나 텍스트가 중요한 응용에서는 해당 세부 품질을 따로 확인해야 한다. 저자들은 736×1280에서 세부 손실이 완화된다고 설명하지만, 잔차 채널을 늘리는 방법은 DiT 적응이 더 어려워질 수 있는 후속 연구로 남겼다.