AI 토론을 요약할 때 희귀하거나 관련 있는 정보만 남기면 생기는 오류

배경과 문제

LLM 에이전트 그룹이 결정을 내릴 때, 모든 대화 내용을 최종 결정자에게 그대로 전달하기는 어렵다. 토큰 예산이 제한되어 있으므로 토론 내용을 압축한 '메모리'를 만들어 전달하는데, 이때 어떤 정보를 남길지 선택하는 정책이 결과를 크게 바꾼다. 연구진은 특히 '숨겨진 프로필(hidden-profile)' 과제에 주목한다. 이 과제에서는 일부 사실은 모든 에이전트가 공유하지만, 정답을 가리키는 중요한 사실은 소수 에이전트만 개인적으로 알고 있다. 이런 상황에서 자연스러운 선택은 '드물게 언급된 사실'을 우선 보존하는 것이다. 왜냐하면 반복해서 나온 공유 정보는 이미 잘 알려져 있다고 가정하고, 희귀한 정보가 새로운 통찰을 줄 것이라고 기대하기 때문이다.

하지만 희귀한 사실이 항상 유용한 것은 아니다. 논문의 병원 스캐너 조달 예시에서는 어떤 공급업체가 모든 전기 안전 검사를 통과했다는 정보와 긴급 수리에 9일이 걸렸다는 정보가 모두 결정 기준과 관련된다. 전체 사실을 합쳐 보면 첫 정보는 오답을 지지하고, 두 번째는 그 오답의 단점을 드러낸다. 어느 쪽이 소수에게만 알려졌는지에 따라 희귀성 우선의 효과도 달라진다. 기존 HiddenBench에서는 희귀한 사실과 유용한 사실이 겹쳐 있어 이를 분리하기 어렵다. CrossProfile은 같은 사실의 소유자만 바꿔 이 문제를 살핀다.

기존 접근의 한계

기존 연구에서 흔히 쓰는 메모리 정책은 크게 두 가지다. 첫째는 '희귀성 우선(R1)'으로, 언급한 에이전트 수가 적은 사실부터 선택한다. 둘째는 '관련성 우선(R1-rel)'으로, 결정 기준과 관련된 사실을 먼저 고른다. HiddenBench에서 R1은 다른 정책보다 훨씬 높은 정확도를 보였다. 예를 들어 Qwen2.5-7B 모델에서 R1은 88.2%의 정확도를 기록한 반면, 증거 요약 정책(B3)은 51.3%에 그쳤다. 하지만 이 결과는 해석에 주의가 필요하다. HiddenBench에서는 개인 소유 사실이 대부분 정답을 지지하고 공유 사실이 오답을 지지하도록 구성되어 있어서, 희귀성과 유용성이 뒤섞여 있다. 실제로 개인 사실만 남긴 메모리는 91.3%의 정확도를 보인 반면, 공유 사실만 남긴 메모리는 5.6%로 빈 메모리(35.4%)보다도 낮았다. 즉, R1의 성공은 희귀성 자체 때문이 아니라 희귀한 사실이 우연히 유용했기 때문일 수 있다.

관련성 우선 정책도 비슷한 문제를 안고 있다. 유인(decoy) 사실은 정의상 결정 기준과 관련이 있으므로, 관련성 필터는 유인을 걸러내지 못한다. 예를 들어 '공급업체 A가 모든 안전 검사를 통과했다'는 사실은 관련성이 높지만, 다른 중요한 단점을 가리고 오답을 지지할 수 있다. 따라서 관련성만으로는 어떤 사실이 결정에 도움이 되는지 판단할 수 없다. 이 연구는 이러한 한계를 체계적으로 드러내기 위해, 사실의 소유권(공유/개인)을 지지·유인·무관 사실별로 교차시킨 CrossProfile 벤치마크를 설계했다. 이를 통해 희귀성과 관련성 정책이 각각 어떤 조건에서 실패하는지 정확히 측정할 수 있다.

연구방법을 단계별로

CrossProfile은 12개 결정 영역에서 각 5개씩 총 60개의 주요 템플릿으로 구성된다. 각 템플릿은 4명의 에이전트, 3개의 선택지, 12개의 사실(지지 5개, 유인 3개, 무관 4개)을 가진다. 지지 사실은 정답 선택지를 지지하고, 유인 사실은 경쟁 선택지를 지지하지만 거짓은 아니다. 무관 사실은 결정 기준과 관련 없는 다른 속성에 관한 것이다. 핵심 설계는 각 사실 그룹의 소유권을 독립적으로 '공유' 또는 '개인'으로 바꾸는 것이다. 예를 들어 어떤 변형에서는 지지 사실은 개인 소유, 유인 사실은 공유, 무관 사실은 개인 소유로 설정한다. 이렇게 2×2×2=8가지 소유권 조합이 만들어지고, 각 조합에서 사실 텍스트는 동일하게 유지된다. 따라서 60개 템플릿 × 8개 변형 = 480개 과제가 생성된다.

통제 토론에서는 각 에이전트가 배정된 사실을 모두 말하도록 한다. R1은 발언자 수가 적은 사실, B4는 처음 언급된 사실, Random은 무작위 사실을 고른다. B3는 모델이 증거를 요약하고, R1-rel은 관련 사실을 우선하되 남은 예산에서는 비관련 사실도 담는다. 주 분석의 예산은 모든 사실에 네 명의 태그를 붙인 토큰 수의 60%다. 개인 사실은 태그가 적어 같은 예산에 더 많이 들어갈 수 있다. 최종 결정자는 같은 모델 가중치를 쓰는 별도 호출에서 과제와 메모리를 받는다. 정답은 각 선택지에 유리한 사실마다 +1, 불리한 사실마다 −1, 무관 사실에는 0을 주어 계산한다. 지지 역할 전체에 +1, 유인 역할 전체에 −1을 주는 규칙이 아니다.

결과와 숫자의 의미

CrossProfile 전체 평균에서 R1은 Random과 거의 차이가 없다. Qwen2.5-7B에서 R1은 64.0%, Random은 64.5%였고, Llama-3.1-8B에서는 R1이 63.0%, Random이 63.4%였다. 하지만 이 평균은 조건에 따른 극적인 반전을 숨긴다. 지지 사실이 개인 소유이고 유인 사실이 공유된 '고전적 숨김 프로필' 조건에서는 R1이 90~97%의 높은 정확도를 보인 반면, 지지 사실이 공유되고 유인 사실이 개인 소유인 조건에서는 R1이 18~40%로 급락했다. 반대로 B4(최초 언급 우선)는 정확히 반대 패턴을 보였다. 이는 희귀성 정책이 본질적으로 '누가 유인을 쥐고 있는가'에 대한 도박임을 보여준다.

관련성 우선 정책(R1-rel)은 평균적으로는 가장 높은 정확도를 보였다. Qwen에서 72.6%, Llama에서 74.6%로, 모든 예산 정책 중 최고였다. 그러나 고전적 숨김 프로필 조건에서는 R1보다 크게 떨어졌다. Qwen에서 R1-rel은 R1보다 22.2퍼센트포인트 낮았고, Llama에서는 20.0퍼센트포인트 낮았다. 심지어 완벽한 관련성 필터(오라클)를 사용해도 R1보다 23.3~31.1퍼센트포인트 낮았다. 이는 관련성 필터가 유인 사실을 다시 포함시키기 때문이다. 유인은 결정 기준과 관련이 있으므로 관련성 필터를 통과하고, 공유 유인은 4명의 태그를 달고 있어 더 많은 토큰을 차지해 다른 사실을 밀어낸다. 결과적으로 메모리에 남는 증거의 균형이 깨진다.

결정 모델 자체도 별도의 실패 요인을 보였다. 모든 사실이 포함된 메모리에서도 정확도는 소유권에 따라 달라졌다. 지지 사실이 공유되면 개인 소유일 때보다 Qwen에서 21.0퍼센트포인트, Llama에서 13.8퍼센트포인트 높은 정확도를 보였다. 이는 모델이 여러 에이전트가 말한 사실에 더 큰 가중치를 두는 '사회적 증거' 편향 때문이다. 발언자 태그를 제거하자 고전적 조건에서 정확도가 Qwen +14.4퍼센트포인트, Llama +13.3퍼센트포인트, DeepSeek-V4.1-Flash +24.4퍼센트포인트 상승했다. 태그를 무작위로 재배치해도 비슷한 상승이 나타나, 줄 순서가 아니라 태그 자체가 영향을 준다는 것을 확인했다. 단, 지지 사실이 공유되고 유인 사실이 개인 소유인 조건에서는 태그 제거가 오히려 Qwen에서 -10.6퍼센트포인트 하락했다. 즉, 다수 동의를 신뢰하는 것이 유용한 사실이 널리 공유될 때는 도움이 되지만, 그렇지 않을 때는 해가 된다.

구체적인 예시

병원 스캐너 조달 템플릿(M01)을 예로 들어보자. 선택지는 Brightline Imaging, Hallum Diagnostics, Ostrava Clinical이고, 정답은 Ostrava Clinical이다. 사실 f01은 'Hallum Diagnostics는 모든 전기 안전 검사를 통과했다'는 유인 사실이다. f02는 'Hallum Diagnostics는 작년에 긴급 수리 요청에 9일이나 걸렸다'는 지지 사실이다. f10은 'Hallum Diagnostics 엔지니어가 수리 요청의 90%에 2시간 내에 도달했다'는 또 다른 유인 사실이다. 만약 지지 사실이 개인 소유이고 유인 사실이 공유된 고전적 조건이라면, R1 정책은 희귀한 지지 사실을 우선 선택해 정답을 맞힐 가능성이 높다. 반대로 지지 사실이 공유되고 유인 사실이 개인 소유라면, R1은 희귀한 유인 사실을 선택해 오답을 지지하게 된다.

이 템플릿에서 안전 검사 통과와 빠른 수리 응답은 둘 다 주제에 맞으므로 관련성 필터가 자동으로 제거하지 않는다. 이를 실제로 얼마나 선택하는지는 전체 CrossProfile 집계에서 확인했다. Qwen의 고전적 조건에서 R1-rel은 평균 1.89개의 유인 사실을 담았고, R1은 0.01개를 담았다. 같은 모델·조건에서 B4는 71.1%의 결정에서 유인 선택지를 골랐다. 이 수치들은 조달 템플릿 하나의 결과가 아니라 여러 템플릿과 반복 실행을 모은 값이다. 참인 정보만 담더라도 어느 방향의 사실을 남기는지가 결정을 바꿀 수 있다.

한계와 오해하기 쉬운 점

이 설명은 2026년 10월 27일 최초 공개된 arXiv v1 전문을 기준으로 한다. 프리프린트이며 독립 재현·동료 심사 완료는 확인하지 않았다. 주 실험은 Qwen2.5-7B와 Llama-3.1-8B를 세 시드로 평가했다. DeepSeek-V4.1-Flash는 60개 템플릿, V4-Pro는 30개 부분집합에서 추가 확인했으므로 모두 같은 범위의 실험은 아니다. CrossProfile의 정답은 동일 가중치의 사실 합산으로 만든 기준이라 실제 복잡한 판단의 대표성이 제한된다. 유인 사실도 참이며, 공유 사실은 독립 관찰이 아니라 연구자가 여러 에이전트에게 복제해 배분한 정보다.

자연 토론은 CrossProfile과 다른 HiddenBench 65과제에서 모델당 195번 진행했다. 전체 대화를 전달했을 때 정답률은 Qwen 22.1%, Llama 33.8%, Flash 25.6%로, 빈 메모리의 33.8%·36.9%·35.9%보다 낮았다. Flash에서 개인 사실을 문장 그대로 공유한 비율은 1.7%였지만 이는 문자열 일치에 의한 측정이지, 모든 의역까지 탐지한 값은 아니다. 증거를 먼저 말하게 한 프롬프트는 Llama의 전체 대화 정답률을 30.8퍼센트포인트 높였으나 Qwen에서는 변화가 검출되지 않았다. 따라서 이 결과는 모든 토론이 무의미하다는 결론보다, 요약 전에 중요한 증거가 대화에 들어왔는지 점검할 필요를 보여준다.

실제로 어떻게 활용할까

저자들은 메모리를 평가할 때 희귀성이나 주제 관련성의 평균 성능만 보지 말고, 각 선택지를 지지하거나 반박하는 증거가 어떻게 남았는지 확인하자고 제안한다. 같은 사실을 서로 다른 사람에게 배분했을 때 결과가 뒤집히는지 살펴보는 것이 한 방법이다. 다만 이 논문은 실제 업무에서 어떤 사실이 올바른 결론을 지지하는지 자동으로 알아내는 보편적인 선택 알고리즘을 완성한 것은 아니다. 진단 실험에서 발견한 약점을 자기 과제에서 다시 측정해야 한다.

발언자 수를 증거의 질과 혼동하는지도 함께 검사할 수 있다. 여러 에이전트가 같은 원자료를 받은 경우라면 반복 발언은 독립된 확인이 아니다. 태그를 지운 조건과 남긴 조건을 비교하면 이런 영향이 드러나지만, 태그 제거가 항상 좋아지는 것도 아니었다. 출처를 버리기보다는 발언 횟수와 독립적인 확인을 구별해 전달하는 설계를 시험할 수 있다. 토론에 중요한 사실이 애초에 나오지 않았다면, 요약 규칙을 바꾸는 것만으로 그 사실을 복원할 수 없다는 점도 핵심이다.