VideoJev: 영상의 답을 길게 생성하지 않고 구간과 보기를 직접 고르기

배경과 문제

비디오를 이해하는 에이전트는 같은 영상을 반복해서 보며 여러 판단을 내려야 한다. 예를 들어 요리 절차를 따라가는 비서는 '재료를 넣었는가'를 확인한 뒤에야 다음 단계를 고를 수 있다. 기존 비디오 MLLM은 이런 판단을 할 때도 답을 토큰으로 하나씩 생성한다. 사건이 몇 초에 일어났는지 물으면 타임스탬프를 출력하고, 객관식 문제에도 답 텍스트를 생성한다. 영상 계산을 공유하더라도 여러 토큰의 답을 순서대로 만드는 비용은 남아, 반복 질문에서 지연이 커질 수 있다.

저자들은 에이전트의 판단이 대부분 구조화된 선택이라는 점에 주목했다. '언제인가'는 시간 구간을 고르는 문제이고, '무엇인가'는 주어진 보기 중 하나를 고르는 문제다. 이런 판단은 생성이 아니라 선택이므로, 후보에 점수를 매겨 바로 결정하는 방식이 더 효율적일 수 있다. 이 아이디어는 TypeSafe AI가 발표한 System One 모델 Jev에서 왔다. Jev는 문자열을 생성하지 않고 미리 정한 선택지에 대한 확률적 판단을 소프트웨어가 바로 쓸 수 있는 형태로 내놓는 모델이다. VideoJev는 이 발상을 영상으로 옮긴 오픈 모델로, Jev의 가중치를 쓰지 않고 Qwen3.5-4B와 Qwen3.6-35B-A3B를 기반으로 다시 학습했다.

기존 접근의 한계

기존 생성형 비디오 MLLM은 시간 구간 찾기에서 타임스탬프를 토큰으로 출력한다. 이 방식은 답이 여러 토큰으로 이어지면 앞 토큰을 다시 입력으로 넣어야 하므로 질문마다 따로 디코딩해야 한다. 객관식 질의응답에서도 답 텍스트를 생성하지만, 보기 글자 하나만 내도록 만든 Direct 방식은 질문을 묶어 처리할 때 정확도가 떨어지는 문제가 있다. 논문의 부록에 따르면 Qwen3.5-4B에 질문을 이어 붙이고 답 칸을 비워 두면 두 번째 질문부터 1,446개 중 1,418개에서 보기 대신 종료 토큰을 내놓았다. 이는 해당 Qwen 모델과 입력 형식에서 관찰한 한계이며 모든 생성 모델의 성질로 일반화할 수 없다.

생성형 모델도 영상 인코딩과 미리 채우기(prefill)를 공유할 수 있지만, 여러 토큰의 답은 질문별로 이어서 생성해야 한다. 부록 A.1의 질문 수 확장 실험은 Video-Holmes에서 뽑은 영상 40개를 사용했다. 질문 열 개의 평균 순전파 시간은 Qwen3.5-4B Thinking 1,393초, VideoJev Joint 1.64초였다. 이 시간과 함께 표시한 정확도는 별도로 전체 LVBench에서 측정했으므로, 시간 측정 표본과 정확도 표본을 구별해야 한다.

연구방법을 단계별로

VideoJev는 사전 학습된 MLLM의 마지막 MLP 층과 언어 출력 헤드를 후보 채점기로 바꾼다. 영상, 질문, 후보 목록을 입력하고, 후보 끝의 <|option_end|>와 목록 끝의 <|decide|>에서 읽은 내부 표현을 비교한다. 두 표현을 같은 512차원 공간으로 옮겨 유사도가 높을수록 높은 점수를 주도록 학습하는 것이다. 각 후보는 영상·질문·앞선 후보를 보고, 마지막 결정 지점은 후보 목록 전체를 본다. 따라서 긴 답안을 작성하는 대신 이미 준비된 선택지와 영상 근거의 관계를 직접 학습한다.

시간 구간 찾기에서는 영상의 타임라인을 프레임 쌍마다 한 칸씩 잘라 후보 구간으로 쓴다. 각 구간의 점수에 시그모이드를 씌우면 그 구간이 사건에 속할 확률이 된다. 한 사건이 여러 구간에 걸치므로 구간마다 따로 맞히는 이진 교차 엔트로피(BCE)를 쓰고, 사건 전체를 덮었는지는 구간 길이로 가중한 Soft IoU 손실로 따로 학습한다. 추론 때는 각 점수에서 임계값 0.25에 해당하는 로짓을 뺀 뒤, 합이 가장 큰 연속 구간 하나를 카데인 알고리즘으로 고른다. 객관식 질의응답에서는 후보가 보기 텍스트이고, 정답이 하나이므로 보기 점수에 소프트맥스를 씌워 확률로 만들고 교차 엔트로피로 학습한다. 학습 때는 보기 위치만 보고 답을 고르는 지름길을 막기 위해 문항마다 정해진 방식으로 보기 순서를 섞는다.

영상 부분은 뒤에 오는 질문의 영향을 받지 않으므로, 영상 인코딩과 미리 채우기를 한 번만 하고 여러 질문이 그 계산을 공유할 수 있다. VideoJev는 이를 두 가지 방식으로 쓴다. Cached inference는 영상을 한 번 인코딩하고 캐시에서 질문마다 따로 가지를 쳐 순전파 1회를 수행한다. Joint inference는 영상 뒤에 질문 여러 개와 각자의 후보 목록을 이어 붙이고, 질문마다 <|decide|>를 두어 한 번의 순전파로 모든 질문의 점수를 얻는다. Joint inference에서는 뒤 질문이 앞 질문의 텍스트와 후보를 볼 수 있지만, 앞 질문의 정답이나 예측은 입력되지 않는다. 학습도 같은 배치(layout)로 하여 질문 간 상호작용을 모델이 익히도록 한다.

학습은 두 단계로 진행한다. 1단계에서는 언어 백본과 새 토큰 임베딩을 얼려 두고 채점 헤드만 영상 30%로 학습한다. 2단계에서는 나머지 70% 영상으로 언어 백본, 새 토큰 임베딩, 헤드를 함께 학습하면서 구간 찾기에 Soft IoU 손실을 더한다. 비전 인코더는 두 단계 모두 얼려 둔다. 이 순서는 MLLM의 프로젝터 정렬 단계에서 가져왔다. 다만 두 단계가 평균 점수를 더 높인 것은 아니다. 같은 데이터를 한 단계로 전부 학습한 경우가 평균 mIoU 0.1점, 질의응답 평균 0.4점 높았고, 질의응답 차이는 대부분 MLVU 한 곳(+2.0점)에서 나왔다. 저자들은 백본을 갱신하는 영상이 70%로 줄어드는 비용 이점 때문에 두 단계를 택했다고 설명한다.

결과와 숫자의 의미

시간 구간 찾기 3종 벤치마크(Charades-STA, ActivityNet Captions, QVHighlights)에서 VideoJev-4B는 평균 mIoU 65.3으로 기반 모델 Qwen3.5-4B의 58.6보다 6.7점 높다. VideoJev-35B-A3B는 평균 mIoU 67.7로 기반 모델 Qwen3.6-35B-A3B의 56.9보다 10.8점 높다. mIoU는 예측 구간과 정답 구간의 겹침 비율 평균으로, 완벽한 구간을 찾은 성공률과는 다르다. 같은 4B 계열에서 가장 높은 TimeLens2-4B보다도 평균 3.3점 높고, 겹침 기준이 가장 엄격한 R1@0.7(IoU 0.7 이상을 맞힌 비율)에서도 세 데이터셋 모두 2.8~4.8점 앞선다.

객관식 비디오 질의응답 4종 벤치마크(LVBench, Video-MME, LongVideoBench, MLVU)에서 VideoJev-4B는 평균 74.3으로 Instruct 모드 기반 모델의 66.3보다 8.0점 높다. VideoJev-35B-A3B는 평균 79.5로 Instruct 모드의 73.8보다 5.7점 높다. Thinking 모드와 비교하면 평균은 4B가 0.6점 낮고 35B-A3B가 0.7점 높지만, 벤치마크별로는 Video-MME와 MLVU에서 Thinking 모드가 여전히 앞선다. 따라서 'Thinking과 비슷한 성능'은 평균 기준이며, 사고 과정을 길게 생성하는 쪽이 항상 지는 것은 아니다.

지연 시간은 H200 한 장, 배치 크기 1에서 측정한 모델 순전파 시간이다. 영상 로딩, 전처리, 전송, 후처리는 제외한다. 시간 구간 찾기에서 VideoJev-4B는 질문당 0.276초로 기반 모델의 0.763초보다 약 2.8배 빠르고, VideoJev-35B-A3B는 0.336초로 기반 모델의 1.054초보다 약 3.1배 빠르다. 질의응답에서는 VideoJev-4B가 1.123초로 Thinking 모드의 144.929초보다 129배 빠르고, VideoJev-35B-A3B는 1.493초로 Thinking 모드의 149.777초보다 100배 빠르다. 질의응답 속도는 전체 LVBench 103개 영상 1,549개 질문에서 영상 인코딩, prefill, 디코딩을 더한 모델 순전파 시간을 질문 수로 나눈 값이다.

구조 효과를 분리하기 위해 저자들은 일반 Qwen3.5-4B를 VideoJev와 똑같은 사후 학습 데이터(영상 58,424개, 문항 404,037개)로 한 단계 미세조정한 생성형 모델과 비교했다. 이 비교에서 VideoJev-4B(한 단계 학습)는 구간 찾기 평균 mIoU 65.4, 질의응답 평균 74.7로, 생성형 미세조정의 64.1, 72.8보다 각각 1.3점, 1.9점 높았다. 이는 같은 데이터를 써도 후보를 직접 채점하는 구조가 더 효과적이라는 증거다. 다만 Charades 하나에서는 생성형 미세조정이 0.4점 높았고, 차이의 상당 부분은 QVHighlights(2.9점)와 MLVU(4.0점)에서 나왔다.

구체적인 예시

논문의 부록에는 실제 추론 사례가 있다. Charades-STA의 27.3초 영상에서 '남자가 의자에 앉아 있다'는 질문에 정답 구간은 [5, 10]초인데, VideoJev-4B는 [5, 11]초(IoU 0.833), VideoJev-35B-A3B는 [5, 10]초(IoU 1.000)를 예측했다. 같은 영상의 '남자가 문 쪽으로 달려간다'는 질문에는 정답 [11, 12]초에 대해 4B가 [10, 12]초(IoU 0.500), 35B-A3B가 [11, 12]초(IoU 1.000)를 예측했다. 이 예시는 Joint inference로 한 번의 순전파에서 여섯 개 질문을 동시에 처리하면서도 인접한 행동을 구분할 수 있음을 보여준다.

실패 사례도 있다. Video-MME의 38초 영상에서 '탁자 위 책이 몇 권인가'를 묻자, 정답은 4권인데 4B는 3권(64.6%), 35B-A3B는 2권(63.4%)을 골랐다. LVBench의 약 1시간 54분짜리 영상에서 특정 시점 인물의 의도를 묻는 문항에서는 4B가 오답에 87.8%를 줬다. 작은 물체 세기와 의도 추론처럼 영상 세부를 봐야 하는 문항에서는 확률이 높아도 틀릴 수 있다. 또한 VideoJev는 영상 전체를 먼저 인코딩하므로 실시간 스트리밍 입력 처리는 향후 과제로 남아 있다.

한계와 오해하기 쉬운 점

VideoJev는 문자열을 생성하지 않고 영상 구간 또는 주어진 텍스트 보기를 채점한다. 따라서 모든 자유형 질문이나 실시간 스트리밍을 해결한 모델은 아니다. 입력은 영상 프레임만이며 오디오·자막은 없다. 학습 비디오는 2fps로 샘플링하고, 언어 백본과 헤드 학습에 64개의 H200 GPU를 사용했다. 질의응답 학습 데이터 약 24만 문항 19,000개 영상은 내부 자료로, 완전 공개 데이터로 재현할 수 없다.

확률 출력은 대체로 과신한다. 보정(calibration)은 '80% 확신한 답이 실제로 80% 맞는' 성질인데, 네 벤치마크 평균 기대 보정 오차(ECE)는 4B 8.65%p, 35B-A3B 8.13%p다. 35B-A3B의 99% 이상 확신한 591개 LVBench 문항도 실제 정확도는 95.8%다. 높은 확률은 안전한 자동 결정의 보증이 아니다. TypeSafe의 Jev는 보정 자체를 강화 학습 목표로 삼지만, VideoJev는 보정을 따로 학습하지 않았다. 저자들은 온도 스케일링이나 보정을 고려한 학습으로 이 차이를 줄일 수 있다고 본다.

기준 생성 모델도 영상 prefill을 공유한다. 구간 찾기 시간은 Charades 1,313개 영상·3,363개 질문, 질의응답 시간은 LVBench 103개 영상·1,549개 질문에서 측정했다. 여러 질문 확장 실험의 과제별 40개 영상과도 다른 표본이다. 순전파만 잰 이 수치를 실제 앱 응답 속도나 서버 처리량의 보장으로 받아들이면 안 된다.

같은 데이터로 비교한 표 3의 한 단계 학습 결과와 표 1·2의 두 단계 최종 모델 결과는 구별해야 한다. Joint inference는 질문을 서로 가리는 별도 마스크를 쓰지 않아 FlashAttention 같은 최적화 커널을 그대로 활용하지만, 뒤 질문이 앞 질문의 텍스트를 볼 수 있다는 조건도 남는다.

실제로 어떻게 활용할까

같은 녹화 영상을 두고 조건을 여러 번 확인하는 도구를 생각할 수 있다. 예를 들어 요리 영상에서 재료를 넣었는지, 어느 시점에 볶기 시작했는지를 묻는 것은 설명용 응용 예시다. 질문이 하나씩 도착하면 Cached, 함께 준비돼 있으면 Joint 방식을 고려할 수 있다. 논문의 질문 수 확장 실험에서 4B의 구간 찾기 시간은 질문이 한 개에서 열 개가 될 때 55ms 늘었다. 다만 실제 요리 보조 에이전트의 작업 성공이나 실시간 입력 처리를 검증한 결과는 아니다.

후보 확률은 답을 받아들이거나 더 신중한 검토로 넘기는 신호가 될 수 있지만, 사용할 영상에서 보정을 확인해야 한다. 코드와 가중치에는 Apache 2.0 라이선스가 표시되어 있으며 실제 이용 시 해당 조건과 자료별 조건을 확인하면 된다. 내부 질의응답 데이터는 공개되지 않았으므로, 공개 자산만으로 학습 과정을 완전히 재현할 수 있다고 단정할 수는 없다.