판정과 무관한 이미지도 AI 심판의 판단을 흔들 수 있다

배경과 문제

대규모 언어 모델(LLM)과 시각-언어 모델(VLM)은 점점 더 인간 주석자를 대신해 데이터에 라벨을 붙이는 데 사용된다. 어떤 모델이 인간을 대체할 수 있는지 결정하기 위해 '대체 주석자 테스트(alt-test)' 같은 프로토콜이 쓰이는데, 이는 모델 판정이 인간 패널과 얼마나 일치하는지를 통계적으로 검증한다. 하지만 이런 테스트는 보통 하나의 프롬프트, 하나의 출력 형식, 하나의 입력 제시 방식으로 한 번만 실행된다. 실제 데이터는 이미지나 이전 메시지 같은 문맥과 함께 도착하는데, 지침서가 '무시하라'고 명시한 정보가 모델 판정에 영향을 줄 수 있다는 점은 기존 테스트에서 드러나지 않는다.

이 연구가 주목하는 문제는 '대체 가능하다'는 판정이 모델 자체의 속성인지, 아니면 특정 평가 조건에서만 성립하는 우연한 결과인지 알 수 없다는 것이다. 인간 주석자는 보통 무관한 문맥을 무시하도록 훈련받지만, 모델은 그렇지 않을 수 있다. 만약 이미지 같은 무관한 문맥이 판정을 흔든다면, 그 모델이 만든 라벨은 평가 데이터나 학습 데이터로 사용될 때 오류를 전파하게 된다. 저자들은 이런 불안정성을 측정하기 위해 정답은 그대로 두고 문맥만 바꿀 수 있는 과제가 필요하다고 보고, 관용구(idiom)를 활용한다.

기존 접근의 한계

기존의 멀티모달 연구는 대부분 이미지를 판단의 대상으로 삼는다. 예를 들어 IRFL이나 AdMIRe 같은 벤치마크는 이미지가 어떤 의미를 나타내는지 맞히는 과제라서, 이미지를 바꾸면 정답도 바뀌는 것이 당연하다. 반면 이 연구는 이미지가 판단 대상이 아니라 무시해야 할 문맥인 경우를 다룬다. ID10M-JAM은 라벨을 보존하면서 텍스트를 교란하지만, 이미지가 아니라 텍스트를 바꾸고 정확도만 측정한다. 무관한 문맥에 대한 기존 연구는 과제 정확도에 초점을 맞추지, 모델이 대체할 인간 주석자와의 일치율에는 관심을 두지 않았다.

또한 LLM 판정이 프롬프트에 따라 달라진다는 것은 알려져 있지만, 이는 보통 정확도를 높이기 위한 엔지니어링 문제로 취급된다. 저자들은 이런 민감성이 '모델이 인간을 대체할 수 있다'는 결정 자체를 위협할 수 있다고 본다. 대체 가능성 판정은 하나의 구성(configuration)에서만 측정되므로, 다른 프롬프트나 다른 문맥에서도 유지되는지 알 수 없다. 이 논문은 행동 테스트의 불변성 기대(invariance expectation)를 판정 모델에 적용해, 라벨을 보존하는 교란에도 판정이 바뀌는지 확인한다.

연구방법을 단계별로

MIST는 200개의 영어 문장으로 구성되며, 각 문장에는 관용적으로도 문자 그대로도 읽을 수 있는 구절(타깃)이 하나씩 들어 있다. 예를 들어 'hit the sack'은 '잠자리에 들다'라는 관용적 의미와 '자루를 치다'라는 문자적 의미를 모두 가질 수 있다. 각 문장은 그 구절이 관용적으로 쓰였는지 문자적으로 쓰였는지에 따라 '문장 의미(sentence sense)'가 정해진다. 각 항목은 세 가지 입력으로 제시된다: 문장 의미와 일치하는 이미지(aligned), 반대 의미를 묘사하는 이미지(misleading), 이미지 없음. 문장 의미와 이미지 유형을 교차하면 네 가지 조건이 나오고, 각 조건에 50개씩 배정된다.

라벨은 문장 속 구절이 어떻게 읽히는지를 나타내며, 이미지가 아니라 문장만으로 결정해야 한다. 라벨은 네 가지로 나뉜다: 완전 관용(FF), 약한 관용(WF), 관용+문자(FL), 완전 문자(LL). 이들은 부분적으로 순서가 있어서 FF에서 LL로 갈수록 덜 관용적이다. 인간 주석자 6명은 세 명씩 두 그룹으로 나뉘었다. 각 그룹은 서로 겹치지 않는 100개 항목을 맡아 그룹 안의 세 사람이 독립적으로 라벨을 붙였고, 한 그룹은 연구 설계를 알고 있었으며 다른 그룹은 지침만 받았다. 두 그룹의 일치도는 중간 수준(Fleiss κ 0.65와 0.57)이고 통계적으로 유의미한 차이가 없어서, 과제 자체가 어렵다는 것을 보여준다.

VLM 판정 실험에서는 13개의 모델을 평가했다. 이 중 7개는 지침만 받은 인간 그룹과 비교한 적어도 한 구성에서 alt-test를 통과해 본문에서 주로 다루고, 나머지 6개는 부록에 보고된다. 각 모델은 네 가지 프롬프트 기법(제로샷, 퓨샷, 연쇄 사고, 퓨샷+연쇄 사고)과 두 가지 이미지 지시 조건(이미지를 무시하라고 명시하는 '명시적' 조건과 이미지에 대해 아무 말도 하지 않는 '침묵' 조건)에서 실행된다. 따라서 각 판정자는 항목당 20개의 라벨을 생성하고, 총 52,000개의 라벨이 수집된다. 출력은 네 가지 라벨 중 하나로 제한되고 탐욕적 디코딩으로 생성된다.

측정 지표는 네 가지다. 첫째, 변화율(change rate)은 텍스트만 있을 때와 이미지를 붙였을 때 라벨이 달라진 비율이다. 둘째, 방향(direction)은 두 이미지 간에 라벨이 달라진 경우 중 이미지가 묘사하는 의미 쪽으로 이동한 비율로, 우연이면 50%다. 셋째, 일치율(agreement)은 인간 다수결 라벨과 정확히 일치하는 비율이다. 넷째, 대체 가능성(substitutability)은 alt-test를 각 인간 그룹에 대해 실행한 결과다. 통제 조건으로 이미지를 고정한 채 '이미지를 무시하라'는 문단만 삭제했을 때의 변화율도 측정해, 프롬프트 편집만으로 얼마나 라벨이 바뀌는지 상한을 제공한다.

결과와 숫자의 의미

이미지를 붙이면 라벨이 상당히 바뀐다. alt-test를 통과한 7개 판정자에서 정렬 이미지를 붙였을 때 평균 15.9%, 오해 이미지를 붙였을 때 14.7%의 라벨이 바뀌었다. 13개 전체로는 각각 20.5%와 19.4%다. 두 이미지 유형 간 차이는 모든 판정자에서 5%포인트 이내로 작아서, 라벨을 바꾸는 것은 이미지의 내용이 아니라 이미지의 존재 자체라는 결론을 뒷받침한다. 통제 조건인 프롬프트 편집(이미지 무시 문단 삭제)은 평균 8.8%의 변화만 일으켜서, 이미지를 붙이는 것이 프롬프트를 바꾸는 것보다 더 큰 영향을 준다.

바뀐 라벨이 이미지가 묘사하는 의미를 따르는지 확인한 결과, 그렇지 않았다. 13개 판정자 전체에서 두 이미지 간에 라벨이 다른 셀은 10,400개 중 1,776개(17.1%)였고, 이 중 이미지가 묘사하는 의미 쪽으로 이동한 비율은 37%였다. 나머지 63%는 반대 방향으로 이동했다. 이 불균형은 문장 유형(관용적/문자적)을 나누어도 유지되었다. alt-test를 통과한 모든 판정자가 우연 수준(50%)보다 낮았고, 가장 높은 판정자도 39%였다. 또한 7개 판정자에서 이동의 71%는 관용-문자 경계를 넘지 않아서, 이미지가 판정자의 근본적인 해석을 바꾸기보다는 같은 쪽 안에서 라벨을 뒤섞는 것으로 보인다.

이미지는 정확도를 떨어뜨리지 않았다. 인간 다수결과의 일치율은 이미지 없음 54.4%, 정렬 이미지 53.7%, 오해 이미지 54.7%로 거의 같았다. 13개 판정자 중 5개만 이미지 아래에서 정확도가 떨어졌다. 즉 이미지는 어떤 항목에서 인간과 일치하는지를 바꾸지만, 전체 일치하는 항목 수는 바꾸지 않는다. 정답과 무관한 이미지만 바꿨는데 라벨이 달라진 것은 불변성 요구를 위반한 것이다. 그러나 변화한 두 출력 중 어느 쪽이 틀렸는지는 별도 문제이며, 인간과의 일치가 늘거나 줄어드는 사례가 평균에서 상쇄될 수 있다. 오해 항목에서 일치율이 낮은 것은 이미지 때문이 아니라 두 표현 집합의 난이도 차이 때문으로 보인다.

구체적인 예시

논문의 Figure 1은 네 가지 조건을 보여준다. T1은 관용적 문장에 문자적 이미지를 붙인 경우다. 예를 들어 'Exhausted, John was ready to hit the sack.'이라는 문장에 자루를 치는 이미지를 붙이면, 문장은 '잠자리에 들다'라는 관용적 의미인데 이미지는 문자적 의미를 묘사한다. T2는 관용적 문장에 관용적 이미지를 붙인 경우로, 'After a long illness, he kicked the bucket.'에 양동이를 차는 이미지 대신 죽음을 암시하는 이미지를 붙인다. T3는 문자적 문장에 문자적 이미지, T4는 문자적 문장에 관용적 이미지를 붙인다. 이렇게 하면 이미지가 문장 의미와 일치하는 경우(aligned)와 반대인 경우(misleading)를 만들 수 있다.

라벨 정의의 예시도 구체적이다. 'Fully Figurative(FF)'는 완전히 관용적인 경우로, 'the elderly man finally kicked the bucket'에서 'kicked the bucket'은 '죽었다'는 뜻이고 양동이를 차는 행위와 무관하다. 'Weak Figurative(WF)'는 관용적이지만 문자적 단어와 의미적 연결이 남아 있는 경우로, 'racing against the clock'은 시계가 시간을 측정한다는 점에서 연결된다. 'Figurative and Literal(FL)'은 두 의미가 동시에 활성화된 경우로, 'back against the wall'이 실제로 벽에 등을 대고 있는 상황에서도 쓰일 수 있다. 'Fully Literal(LL)'은 문자 그대로의 의미만 있는 경우다. 판정자는 먼저 문장에서 문자적 의미가 활성화되는지 확인하고, 그렇지 않으면 구절 자체의 관용적 유형을 판단한다.

한계와 오해하기 쉬운 점

이 연구의 한계는 명확하다. 첫째, 사용된 이미지는 모두 타깃 구절의 두 가지 의미 중 하나를 묘사한다. 즉 관련 없는 이미지가 아니라 관련은 있지만 반대 의미인 이미지다. 완전히 무관한 이미지(예: 문장과 아무 상관없는 풍경)가 같은 효과를 내는지는 이 실험으로 알 수 없다. 둘째, 라벨 척도가 부분적으로만 순서가 있어서 FF에서 WF로의 이동과 FL에서 LL로의 이동이 같은 크기의 변화가 아니다. 셋째, 인간 주석자는 각 항목을 한 번만 라벨링했기 때문에, 인간이 이미지와 무관한 이유로 라벨을 바꾸는 비율을 측정할 수 없다. 따라서 '인간은 안정적이다'라는 가정은 검증되지 않았다.

오해하기 쉬운 점은 '이미지가 정확도를 떨어뜨리지 않으니 문제없다'고 생각하는 것이다. 이 연구는 전체 일치율이 변하지 않아도 개별 항목 수준에서 라벨이 크게 흔들릴 수 있음을 보여준다. 대체 가능성 테스트는 전체 일치율만 보기 때문에 이런 불안정성을 감지하지 못한다. 또한 변화 방향이 이미지가 묘사한 의미를 단순히 따라가지는 않았다. 이미지 쪽 37%, 반대쪽 63%였으므로 이를 무작위라는 결론으로 바꾸어서는 안 된다. 오히려 이미지의 존재가 판정을 불안정하게 만들고, 그 변화는 이미지 내용과 체계적으로 연결되지 않는다.

실제로 어떻게 활용할까

이 연구의 실용적 함의는 VLM 판정자를 배포할 때 평가 조건을 명시해야 한다는 것이다. 어떤 프롬프트를 사용했는지, 어떤 무관한 문맥이 붙어 있었는지를 보고서에 포함해야 한다. '대체 가능하다'는 판정은 모델과 구성(configuration)을 함께 설명하는 것이지, 모델만을 설명하는 것이 아니다. 실제로 VLM을 주석자로 사용할 때는 이미지 같은 무관한 문맥을 제거하거나, 최소한 그 영향을 테스트해야 한다.

MIST는 판정 모델에 대한 불변성 테스트로 사용될 수 있다. 특정 VLM이 이미지 존재에 얼마나 민감한지 측정하고, 그 민감도가 허용 범위를 넘으면 해당 모델을 인간 대체용으로 사용하지 않는 것이 안전하다. 또한 이 방법은 관용구 주석에만 국한되지 않는다. 정답이 문맥과 무관하게 유지되는 다른 주석 과제에도 적용할 수 있다. 다만 이 연구는 영어 관용구와 특정 이미지 유형에 한정되었으므로, 다른 언어나 다른 유형의 무관한 문맥으로 일반화하려면 추가 검증이 필요하다.