영상 생성 AI는 과거를 많이 기억할수록 더 정확할까

배경과 문제

장편 영상 생성기는 인물이나 사물이 다시 등장할 때 정체성이 흔들리는 문제를 막기 위해 과거 프레임을 검색해 참조하는 방식을 점점 많이 쓴다. 직관적으로는 과거 정보에 더 많이 접근할수록 미래 영상이 더 일관될 것 같지만, 과거에 충실한 이미지가 현재 이야기에는 틀릴 수 있다. 예를 들어 등장인물이 새 옷을 입었거나, 물건이 파괴되었거나, 죽은 사람이 언급만 되고 실제로는 등장하지 않는 경우가 있다.

이 연구는 '기억이 무엇을 검색하는가'와 '생성기가 그것으로 무엇을 하는가'를 분리해서 측정한다. 기존 평가는 지각적 품질이나 샷 간 일관성을 보지만, 시각적 역사에 접근하는 것이 언제 실제 생성을 돕고 언제 간섭을 일으키는지는 명확하지 않았다. 저자들은 현재 프롬프트가 이미 개체를 설명하는 경우, 과거 매칭이 낡은 외모를 보존하는 경우, 관련 참조에 이제 금지된 개체가 포함된 경우라는 세 가지 혼란 요인을 지적한다.

기존 접근의 한계

기존 장편 영상 벤치마크는 주로 지각적 품질이나 교차 샷 일관성을 측정한다. VBench는 지각·의미 품질을, MovieBench·MSVBench·EntityBench는 영화 수준 또는 교차 샷 일관성을 평가한다. 다만 품질이나 일관성 점수만으로는 '과거와 닮은 것'과 '현재 이야기에 맞는 것'을 충분히 구분하기 어렵다. 예를 들어 검색된 프레임이 죽은 인물을 포함하거나, 바뀐 외모 대신 옛 모습을 담고 있어도 유사성 점수는 높게 나올 수 있다.

또한 기존 연구는 검색의 관련성과 하류 생성의 유용성을 분리하지 않는 경우가 많다. RAGChecker는 텍스트 검색에서 검색 품질과 생성 품질을 분리하지만, 시각 생성에서는 현재 상태 정확성과 개체 배제를 역사적 유사성과 함께 측정해야 한다. 이 연구는 선택된 참조의 증거 품질(Track-A)과 생성된 영상의 결과(Track-B)를 별도로 측정해 이 간극을 메운다.

연구방법을 단계별로

VMem-Bench는 두 갈래로 구성된다. Track-A는 92편의 실제 영화(16,548개 구간, 2,803개 개체)에서 생성기를 실행하지 않고, 다음 구간이 공개되기 전에 검색 정책이 선택한 참조 프레임을 동결된 개체 목록과 비교해 점수를 매긴다. 이는 생성기의 혼란 없이 '어떤 참조가 선택되는가'를 측정한다. Track-B는 30개의 저자 작성 이야기(2,824개 5초 구간)를 시간 순서대로 생성하면서 네 가지 검색 정책, 과거 프레임을 주지 않는 조건, 정답 개체 ID로 최근 모습을 고르는 Last-seen 조건을 비교한다. 두 트랙은 같은 사례를 서로 다른 방식으로 재평가한 것이 아니다.

Track-B의 네 검색 정책은 텍스트-프레임(개별 프레임을 텍스트 유사도로 순위화), Seg+uniform(텍스트 매칭 구간에서 균일 샘플링), Seg+DINO-key(시각적으로 다양한 DINOv3 키프레임 선택), Seg+frame(상위 텍스트 구간 내 프레임 재순위화)이다. 네 검색 정책은 참조 프레임 3개를 사용하고, 무기억은 0개를 사용한다. 이 비교 조건들은 동일한 생성 파이프라인(FLUX.2 키프레임 합성 + Wan2.2-TI2V-5B 5초 영상 생성)을 공유하며, 각 정책은 자신의 생성 이력을 누적해 참조를 검색한다. 따라서 이 비교는 '동일한 과거를 고정한 단일 변수 개입'이 아니라 '완전한 정책 간 비교'이며, 인과성은 미래 구간 정보 접근 금지를 의미한다.

평가 지표는 재현율(등장해야 할 개체가 실제로 나타난 비율), 정밀도(나타난 개체 중 요구된 개체의 비율), 회피 성공률(금지된 개체가 나타나지 않은 비율)로 구성된다. 또한 DINOv3 임베딩으로 과거 외모와의 유사성을 측정하고, 프롬프트에서 외모 설명을 제거하는 개입 실험을 통해 프롬프트 정보의 기여를 분리한다.

결과와 숫자의 의미

공유 생성기에서 검색은 통합 개체 재현율을 무기억 0.559에서 0.628~0.693으로 높인다(6.9~13.4%p). 그러나 정밀도는 0.977에서 0.915~0.938로, 금지 개체 회피는 0.968에서 0.845~0.898로 떨어진다. 예를 들어 Seg+DINO-key는 재현율 +0.133(95% CI +0.111~+0.155)의 이득을 보지만, 정밀도 −0.057, 회피 −0.114의 손실을 동반한다. 이는 재현율 이득이 원치 않는 등장을 숨길 수 있음을 보여준다.

간격이 30구간 이상인 인물·소품의 재등장에서는 네 검색 정책 중 어느 것도 확실한 이득을 보이지 않았다. 특히 인물 재등장 62건의 무기억 재현율은 0.984였다. 이 중 61건에는 바뀐 외모가 프롬프트에 적혀 있었다. 같은 62건에서 외모 설명을 제거하자 무기억 재현율은 0.565로 낮아졌고, Seg+DINO-key의 추가 이득은 +0.016이었지만 95% 신뢰구간이 0을 포함했다. 프롬프트 정보의 영향은 보이지만, 이 부분집합에서 검색 우위가 입증됐다는 뜻은 아니다.

과거 외모 유사성은 검색으로 크게 증가한다. 전체 재등장에서 DINOv3 코사인 유사도는 무기억 0.35에서 검색 시 0.49~0.57로 오른다. 그러나 이는 '과거와 닮은 것'이지 '현재 이야기에 맞는 것'이 아니다. 외모가 바뀐 인물의 재등장 부분집합에서 유사도가 0.19에서 +0.15~+0.20 상승하는데, 이는 오래된 외모를 강화하는 역효과일 수 있다.

구체적인 예시

그림 1은 주 정량 평가보다 앞선 시험 실행의 질적 사례다. 고정된 과거에서 참조만 바꿔 원인을 분리한 실험은 아니며, 실패가 생기는 경로를 보여준다. 죽은 '차이야오 삼촌'의 재킷만 언급했는데 인물이 다시 등장하고, 주황색 보트 대신 검색된 흰색 유사 보트가 생성된다. 또 '악시'의 옷이 짧은 망토로 바뀌라는 지시에도 옛 스카프가 남는다.

부록 그림 14도 같은 시험 환경의 이전 실행에서 비슷한 패턴을 보여준다. 짧은 간격 재등장에서는 무기억 생성기가 '그'라는 대명사를 낯선 사람으로 대체하지만, 네 검색 정책 모두 최근에 본 레인저를 복원한다. 반대로 죽은 야간 경비원 '올드 시'가 명판에 이름만 언급되었는데도 모든 검색 정책이 그를 다시 등장시킨다. 이는 기억이 유용한 맥락과 금지된 개체를 함께 가져올 수 있음을 보여준다.

한계와 오해하기 쉬운 점

이 설명은 최초 제출일이 2026년 10월 26일(UTC)인 arXiv v1 PDF 전체를 기준으로 한다. 사전공개 연구이며 여기서 실험을 독립 재현한 것은 아니다. 이 연구는 '기억 용량 확장 법칙'이나 '모든 영상 모델에 대한 일반 결론'을 주장하지 않는다. Track-B는 30개의 저자 작성 이야기와 하나의 공유 생성 파이프라인만 사용하며, 장르 분포를 대표하지 않는다. 스토리·조건마다 한 번씩 생성했으며, 스토리 단위 부트스트랩 신뢰구간은 그 실행을 고정한 이야기 간 변동을 나타낸다. 생성 시드를 바꾼 반복 변동까지 포함하지 않는다. 또한 각 조건이 자신의 생성 이력을 누적하므로, 정책 간 차이는 '완전한 정책'의 효과이지 '동일한 과거에서 참조 하나만 바꾼' 인과 효과가 아니다.

자동 판정자(Qwen3-VL-32B)는 개체를 놓치거나 외모를 정체성과 혼동할 수 있다. 두 번째 판정자(InternVL3.5)로 다시 채점하면 절대 재현율이 0.559에서 0.361로 크게 달라지며, 일부 세부 효과(간접 참조 회피, 거짓 친구 등)는 유의하지 않게 된다. 또한 DINOv3 유사도는 '등장이 감지된 쌍'만 비교하는 조건부 측정이라, 놓친 재등장을 포함한 무조건적 성공률로 해석하면 안 된다.

정답 개체 ID를 쓰는 최근 등장 조건(Last-seen)는 특권적 진단 도구로, 배포 가능한 기준선이나 성능 상한이 아니다. 참조 수가 가변적(1~3개)이라 예산이 일치하지 않으며, 참조 수별 효과는 서로 다른 구간을 비교하므로 인과적 개수 효과로 볼 수 없다. 표 3의 deprecation-only 회피 0.964와 그림 3의 pooled 0.968을 혼동하지 말아야 한다.

실제로 어떻게 활용할까

실무자는 기억 시스템을 평가할 때 세 가지 질문을 분리해야 한다. 첫째, 역사가 현재 지시와 기준 맥락을 넘어 어떤 정보를 추가하는가? 둘째, 그 외모가 요청된 시간적 상태(예: 플래시백의 옛 모습)와 일치하는가? 셋째, 유용한 참조가 원치 않는 개체를 함께 가져오는가? 재현율이나 역사적 유사성만으로는 기억의 유용성을 입증할 수 없다.

저자들은 평가 체크리스트를 제공한다. 무기억 조건을 포함해 프롬프트가 제공하는 외모 정보를 기록하고, 설명 일치 존재와 요구 상태를 이전 외모 유사성과 함께 보고하며, 재현율과 함께 정밀도와 금지 개체 회피를 같은 이야기 요구 사항으로 측정하라고 권고한다. 또한 선택된 참조의 증거 품질(Track-A)과 생성 결과(Track-B)를 별도로 검사하고, 클립 품질 지표와 개체 수준 결과를 함께 보고해야 한다.