RealCompanion: AI는 과거 대화가 언제 필요한지 아는가

배경과 문제

AI 컴패니언과 몇 달 동안 대화를 나누는 사람이 늘고 있다. 이런 관계에서 AI가 상대방을 이해한다는 것은 두 가지 질문에 답하는 것이다. 첫째, '이 사람은 누구인가'라는 질문은 메시지마다 일관되게 유지되어야 한다. 둘째, '그가 과거에 말한 것 중 지금 중요한 것은 무엇인가'라는 질문은 매 메시지마다 달라진다. 컴패니언은 이 두 가지를 모두 맞혀야 한다. 그런데 이 두 답은 실제 사람에 대한 주장이므로, 그 사람이 실제로 말한 내용과 대조해 검증해야 한다.

문제는 그런 대화가 사적이라는 점이다. 대화는 제품을 만든 회사가 보유하고 있어서, 연구자들은 실제 대화 대신 생성된 대화로 테스트해 왔다. 생성된 대화는 기억을 테스트하기 위해 만들어졌기 때문에 거의 모든 메시지가 과거를 필요로 하고, 페르소나는 미리 선언된 특성을 담고 있어서 질문에 답하기 쉽다. 이런 벤치마크는 시스템이 보기 전에 이미 두 질문에 대한 답을 정해 놓은 셈이다.

기존 접근의 한계

기존 벤치마크는 세 가지 대체물에 의존한다. 첫째, 실제 사람 대신 미리 작성된 페르소나 설명을 사용한다. PersonaChat 같은 초기 연구부터 최근의 대규모 합성 페르소나까지, 이 설명은 실험자가 통제하는 입력이므로 인물이 대화 속에서 드러나는 과정보다 주어진 설명을 회수하는 능력을 평가하기 쉽다. 둘째, 기억이 필요한 순간을 대신하는 '작성된 질문'을 사용한다. 질문은 무엇을 검색해야 하는지 명시하므로, 시스템이 검색이 필요한지 판단할 필요가 없다. 셋째, 모델의 판단이 평가 대상의 정답을 대신한다.

이런 대체물은 측정 가능한 비용을 초래한다. 작성된 질문은 '절제(restraint)' 결정, 즉 언제 과거를 참조해야 하는지에 대한 판단을 평가할 수 없게 만든다. 또한 질문 작성자는 답을 알고 있으므로 증거를 질문 가까이 배치할 수 있어, 실제 대화에서 나타나는 '증거가 아주 멀리 떨어져 있는' 분포를 재현하지 못한다. 실제 대화에서는 과거를 참조해야 하는 메시지가 드물고, 참조할 메시지가 수천 개 뒤에 있을 수 있다.

연구방법을 단계별로

RealCompanion은 10명의 실제 사용자가 AI 컴패니언과 나눈 대화를 수집한다. 이들은 연구 사용과 공개에 동의했고, 모든 메시지는 익명화되어 직접 식별자가 일관된 대체물로 바뀌었다. 대화는 제품의 운영 저장소에서 가져왔기 때문에, 각 메시지는 참가자가 보낸 그대로의 위치에 있다. 총 27,218개의 메시지가 있으며, 참가자별로 최대 120일 동안의 대화가 포함된다.

각 참가자에 대해 다섯 개의 파일이 공개된다. 'source'는 모든 메시지를 순서대로 담은 원본이고, 'profile'은 참가자가 명시적으로 말한 사실을 기록하며 각 주장이 어떤 메시지에 근거하는지 인용한다. 'persona'는 참가자가 어떻게 생각하고 느끼고 결정하는지에 대한 해석적 초상화로, 각 항목은 대화에서 뒷받침되는 경우에만 채워진다. 'chat'은 대화 평가 항목으로, 각 항목은 참가자의 실제 메시지(프로브)와 그에 대한 올바른 답변, 그리고 그 답변이 어떤 메시지에 의존하는지 기록한다. 'question'은 프로필에서 작성된 질문들로, 대화에서 확립된 모든 사실과 특성을 묻는다.

채팅 항목의 정답(ground truth)은 5단계 추론 과정을 거쳐 만들어진다. A단계는 프로브가 무엇을 가리키는지 해석하고, B단계는 그 해석을 뒷받침하는 증거가 대화에 실제로 존재하는지 검증한다. C단계는 19개의 고정된 규칙 중 하나를 적용해 항목의 난이도(tier)와 범주를 할당하고, D단계는 기록된 맥락만을 사용해 참조 답변을 작성한다. E단계는 답변이 증거에 의해 뒷받침되는지 확인하고, 실패하면 항목을 수정하거나 철회한다. 각 단계는 자신의 결정과 이유를 같은 호출에서 기록하므로, 독자는 어떤 단계에서 라벨이 잘못되었는지 추적할 수 있다.

결과와 숫자의 의미

실제 대화에서 과거 메시지가 필요한 경우는 드물다. 무작위로 추출한 1,169개의 메시지 중 단 3.4%만이 현재 스레드 밖의 과거 메시지를 필요로 했다. 더 엄격한 기준을 적용하면 이 비율은 1.3%로 떨어진다. 이는 기존 벤치마크가 가정하는 '거의 모든 메시지가 과거를 필요로 한다'는 것과 크게 다르다. 또한 과거가 필요한 경우에도 필요한 메시지는 아주 멀리 떨어져 있다. 가장 먼 필요한 메시지의 중간값은 2,157개 뒤이고, 최대 12,542개 뒤까지 갈 수 있다.

검색 방법의 성능은 인상적이지 않다. 최근 메시지를 반환하는 'recency' 방법은 먼 과거 항목에서 필요한 메시지를 상위 5개 안에 찾을 확률이 2.2%에 불과하다. 단어 매칭 기반 BM25는 24.8%로 더 낫지만 여전히 4분의 3을 놓친다. 그러나 먼 과거를 필요로 하지 않는 항목까지 합친 지표에서는 recency가 95.9%를 보이는데, 이는 대부분의 항목이 최근 스레드에서 답할 수 있기 때문이다. 즉, 전체 점수는 말뭉치의 구성(대부분 최근 메시지)을 반영할 뿐, 실제로 먼 과거를 검색하는 능력을 보여주지 못한다.

시험한 탐지기는 실제 메시지에서 과거 참조가 필요한 순간을 잘 구분하지 못했다. 프로브와 직전 3개 메시지를 보는 한 비교의 AUROC는 0.530이고 신뢰구간이 무작위 기준 0.5를 포함한다. 작성된 질문에서는 검색된 메시지 3개를 제공한 탐지기가 0.802를 기록했지만, 두 수치는 입력과 평가 조건이 달라 그대로 모델 개선 폭처럼 비교할 수 없다. 논문은 작성된 질문이 증거와 더 많은 단어를 공유하는 구조적 차이도 지적한다. 또한 자연 비율 표본에서 직전 3개 메시지를 정답 근거 메시지로 바꿔 주는 대조의 평균 이득 중 96%는 과거가 필요 없는 항목에서 나왔다. 정답 답변이 기록된 과거에 실제로 의존하는 167개 항목에서는 같은 교체로 0~2 척도의 내용 일치 점수가 0.455 높아졌다. 이 값은 정확도 45.5%p 상승이 아니다.

사람의 페르소나를 재구성하는 과제에서 세 에이전트 시스템(Claude Opus 5.5, Codex GPT-5.6-sol, Antigravity Gemini 3.8 Flash)은 참가자를 합산한 표 6에서 F1 0.69~0.70을 기록했다. 정밀도는 0.56~0.59, 재현율은 0.86~0.89로, 시스템이 기준 파일에 적힌 특성을 많이 찾지만 그 파일에 없는 항목도 많이 쓴다는 뜻이다. 기준 파일의 문맥 길이 제한이 일부 근거 있는 항목을 누락시킨 경우도 있어, 모든 추가 항목을 거짓 상상이라고 단정할 수는 없다. 세 시스템은 서로 0.86~0.88로 높은 일치도를 보이는데, 이는 그들이 같은 방식으로 역사를 읽고 같은 방식으로 실제와 다르게 상상한다는 것을 시사한다.

구체적인 예시

논문의 Figure 1은 한 참가자가 보낸 세 개의 메시지를 보여준다. 3월에 '팀 리드 역할이 공고에 올라왔어. 6명을 관리하게 될 거야'라고 말하고, 4월에 '지원했어. 원하는지 확실하지 않지만, 궁금해하고 싶지 않았어'라고 말한다. 6월(오늘)에 '일자리를 얻었어'라고 말한다. 이때 컴패니언이 '축하해! 네가 원하던 바로 그거야'라고 답하면, 이는 사용자가 원했다고 가정한 것으로, 사용자는 원하는지 확실하지 않다고 이미 말했기 때문에 잘못된 페르소나 추론에 근거한 오류다.

반면 '4월에 지원했지만 확신이 없었지'라고 답하면, 이는 프로필만 사용한 것으로 사용자가 이미 아는 사실을 반복할 뿐이다. 올바른 답변은 '확신이 없었는데도 그 자리를 얻었네. 어때?'와 같이 프로필과 올바른 페르소나를 함께 사용해 사용자가 왜 지원했는지를 이해하는 것이다. 이 예는 프로필(명시적 사실)과 페르소나(추론된 특성)를 구분하고, 잘못된 추론이 어떻게 자신감 있는 오답으로 이어지는지 보여준다.

한계와 오해하기 쉬운 점

이 연구의 데이터는 한 서비스의 사용자 10명에게서 나왔으며, 이들은 해당 제품을 선택했기 때문에 컴패니언 사용자 전체를 대표하지 않는다. 또한 두 명의 사용자가 전체 메시지의 73%를 차지하므로, 항목별로 합산한 수치는 이 두 사람의 행동을 과도하게 반영할 수 있다. 따라서 논문은 참가자별로 평균을 낸 매크로 평균도 함께 보고한다.

라벨 생성에는 모델·규칙·원문 대조가 함께 사용되었고, 독립 모델 감사와 일부 사람 검토를 수행했다. 채팅 트랙의 독립 감사에서는 1,533개 항목 중 7개(0.46%)가 저장된 참조 답변과 불일치했지만, 질문 트랙은 수리 후에도 3.8%의 내용 결함률을 보였다. 반면 초반 A단계 추론 설명은 395/1,533개(25.8%)가 기록된 판단을 정당화하지 못했다. 따라서 공개된 추론 흔적 자체를 검증된 정답으로 학습시키면 안 된다. 또한 익명화 과정에서 모든 메시지가 재작성되었기 때문에, 원래 단어가 아닌 의미만 보존되었다. 이 재작성이 검색 및 답변 점수에 미치는 영향은 측정되지 않았다. 저자들은 스타일로메트리 분석을 통해 익명화된 텍스트에서도 저자를 식별할 수 있음을 인정하고, 상업적 사용이나 개인 식별을 금지한다.

실제로 어떻게 활용할까

이 벤치마크는 AI 컴패니언이 실제로 '언제 기억해야 하는지'와 '무엇을 기억해야 하는지'를 평가하는 데 사용될 수 있다. 특히 절제(restraint) 결정에 대한 감독 신호를 제공하는데, 이는 1,129개의 부정적 예(과거 불필요)와 404개의 긍정적 예(과거 필요)로 구성되어 검색 게이트를 훈련하는 데 유용하다. 기존 시스템은 모든 턴에서 검색을 수행하는데, 이 데이터는 언제 검색하지 말아야 하는지를 시험하는 데 쓸 수 있다. 다만 404개 양성에는 과거가 필요한 사례를 의도적으로 추가한 표본이 포함되므로, 이 학습용 구성의 양성 비율을 실제 서비스의 기억 필요율로 쓰면 안 된다.

또한 각 항목의 추론 추적(trace)은 중간 결정(참조 해석, 검증, 분류)에 대한 감독을 제공하므로, 최종 결과뿐 아니라 중간 단계에서 모델을 훈련하거나 평가할 수 있다. 연구자들은 이 데이터를 사용해 실제 대화에서의 기억 요구율을 추정하고, 맥락 길이와 검색의 상대적 가치를 측정할 수 있다. 다만 데이터 사용에는 엄격한 제한이 따르며, 상업적 이용이나 개인 프로파일링은 금지된다.