에이전트 메모에 근거 기록을 연결하는 기억 기법 WikiTrace
AI 에이전트가 쌓아 둔 교훈마다 근거가 된 작업 기록을 연결해 되짚게 했더니, 메모 때문에 틀리는 일이 줄고 평균 점수가 올랐다.
쉽게 말하면비유하자면 선배가 남긴 업무 요령 쪽지와 같다. 쪽지만 보면 왜 그렇게 하라는지 알 수 없어 엉뚱한 상황에 적용하기 쉽다. WikiTrace는 쪽지마다 그날의 업무 일지를 붙여 둔다. 미심쩍으면 일지를 펼쳐 확인하고 쪽지를 고쳐 읽는다. 다만 실제 연구에서 쪽지를 쓴 것은 선배가 아니라 AI 자신이다. 일지를 본다고 쪽지가 옳다고 보증되지도 않는다.
- 예를 들면
- 원문에 나온 사례다. 마인크래프트 제작 과제에서, 실패한 작업에서 나온 교훈 하나가 재료를 하나만 놓았는데 무언가 만들어지면 포기를 고려하라고 잘못 일렀다. 교훈만 받은 에이전트는 미리보기로 뜬 물건을 집어 재료를 잃고 불가능하다며 포기했다. WikiTrace 에이전트는 어긋나는 두 교훈의 원본 기록을 열어 판자를 계속 놓아도 된다고 판단해 풀었다.
- 왜 봐야 하나
- AI가 지난 일을 기억하면 더 잘할 것이라고 여기기 쉽다. 이 연구는 에이전트가 쌓은 메모가 출처 없이 쓰이면 오히려 실수를 부를 수 있고, 근거 기록을 함께 남겨 확인하게 하면 그 위험이 줄어든다는 것을 모의 시험에서 보여 준다.
알아낸 것
- 여덟 개 시험 묶음의 평균 점수는 메모 없는 에이전트 79.5, 같은 교훈만 준 경우 87.0, WikiTrace 90.2였다. 여덟 묶음 모두에서 WikiTrace가 가장 높았다.
- 메모 없이 풀던 과제를 틀리게 되는 비율은 WikiTrace 4.5%, 교훈만 준 경우 6.5%였다. 메모 없이 다시 돌리기만 해도 우연히 9.7%가 뒤집혔다.
- 메모 없이 세 번 다 풀다가 메모를 주자 틀린 사례 355건(다섯 방식 합계) 가운데 52%는 에이전트가 따른 메모 항목 탓으로 판정됐다. 그중에는 틀린 항목이 전체의 20%로 가장 많았다. 나머지 48%는 메모와 이어진 원인을 찾지 못했다.
- 글 명령으로 진행하는 세 시험 환경에서 정리본이나 원본 기록을 연 실행의 43%는 계획이 바뀌었다. 이런 실행은 교훈만 준 경우보다 8.3점 앞섰고, 계획이 그대로였던 실행은 4.4점 앞섰다.
한계와 주의할 점
- 동료 심사를 마치지 않은 사전 공개 논문이다. arXiv 설명란에는 ACL Rolling Review 2026년 10월 회차에 내서 심사 중이라고 적혀 있다.
- 시험은 모의 환경으로 된 표준 시험(벤치마크) 다섯 가지에서만 했다. 주 실험 모델은 deepseek-v4-flash 하나이고, 다른 모델(GLM-5.3-flash)로는 세 묶음만 다시 확인했다. 기억도 벤치마크마다 지난 작업 38~54건으로 만든 작은 규모다. 모든 교훈을 첫 메시지에 넣는 방식이라, 기억이 훨씬 커졌을 때 어떻게 되는지는 다루지 않았다.
- 원본 기록 연결은 교훈을 확인할 길을 줄 뿐, 교훈이 옳다고 검증해 주지 않는다고 저자들이 밝혔다. 퇴보 원인과 기록 열람 이유는 다른 AI 모델이 에이전트의 추론 글을 읽고 분류한 것이다. 또 고객 응대 과제(τ³-bench)에서는 메모 없는 에이전트와의 차이가 86.8 대 88.2로 작았다.
용어 풀이
- AI 에이전트
- 한 번 답하고 끝나지 않고, 환경을 살피고 도구를 쓰면서 여러 단계에 걸쳐 일을 처리하는 AI다.
- 궤적(trajectory)
- 에이전트가 과제 하나를 하면서 한 행동과 그때마다 본 결과를 순서대로 적은 원본 기록이다. 이 글에서는 원본 기록이라고 불렀다.
- 기억이 부른 성능 퇴보(memory-induced degradation)
- 메모 없이는 풀던 과제를 메모를 주자 틀리게 되는 현상이다. 틀린 교훈을 따르거나 맞는 교훈을 엉뚱한 데 적용할 때 흔히 생기지만, 이 연구에서 원인을 메모에서 찾지 못한 사례도 절반 가까이 됐다.
- Gain과 Regression
- Gain은 메모 덕에 틀리던 과제를 맞히게 된 비율이고, Regression은 메모 탓에 맞히던 과제를 틀리게 된 비율이다. 평균 점수 하나로는 이 둘을 구분할 수 없어 따로 쟀다.
더 깊이 읽기 읽는 데 약 5분
무엇이 문제였나
AI 에이전트는 여러 단계를 거쳐 일을 처리하는 AI다. 요즘 에이전트는 지난 작업에서 얻은 요령을 짧은 교훈으로 적어 두고 새 일에 다시 쓴다. 이것을 외부 기억(메모리)이라고 한다. 그런데 메모가 늘 도움이 되지는 않는다. 메모 없이는 풀던 과제를 메모 때문에 틀리는 일이 생긴다. 저자들은 이 현상을 '기억이 부른 성능 퇴보(memory-induced degradation)'라고 부른다.
저자들은 메모 없이 세 번 모두 풀었지만 메모를 주자 틀린 사례 355건을 모았다. 기존 기법 세 가지, 통찰만 준 경우, WikiTrace의 실패를 합친 수다. 원인 분류는 다른 AI 모델이 맡았다. 52%는 에이전트가 따른 메모 항목 탓으로 판정됐고, 그중 항목 자체가 틀린 경우가 전체의 20%로 가장 많았다. 나머지 48%는 메모와 이어진 원인을 찾지 못했다. 저자들은 틀린 교훈이 생기는 까닭을 이렇게 본다. 지난 작업 기록에는 성공·실패 딱지 하나만 붙는다. 어느 행동이 그 결과를 낳았는지는 짐작해야 하고, 짐작이 틀리면 틀린 교훈이 남는다. 기존 방식은 교훈만 건네 에이전트가 확인할 길이 없다.
어떻게 했나
WikiTrace는 기억을 세 층으로 쌓는다. 맨 위는 통찰(insight)이다. 무엇을 하라는지, 언제 적용되는지, 어느 작업에서 나왔는지, 그 작업이 성공했는지를 적은 짧은 문서다. 가운데는 정리본(compilation)으로, 그 작업이 왜 성공하거나 실패했는지를 요약한다. 맨 아래는 행동과 관찰을 그대로 남긴 원본 기록이다. 세 층은 링크로 이어진다. 작업 하나에서 통찰은 많아야 세 개 뽑고, 한번 쓴 통찰은 고치거나 지우지 않는다.
새 과제를 받으면 에이전트는 먼저 모든 통찰과, 지금 과제와 가장 비슷한 지난 작업 세 건의 목록을 받는다. 그리고 세 가지 경우에 링크를 따라 정리본과 원본 기록으로 내려가라는 안내를 받는다. 통찰에 행동에 필요한 세부가 빠졌을 때, 통찰이 실패한 작업에서 나왔을 때, 다른 통찰과 어긋날 때다. 행동이 실패했을 때도 다시 내려가 보라고 한다. 기억은 읽기 전용 파일로 놓여 있고, 에이전트는 터미널 명령으로 필요한 사실을 찾는다. 논문은 이 과정을 하강(descent)이라고 부른다.
결과와 숫자의 뜻
시험은 표준 시험 문제집인 벤치마크(benchmark) 다섯 가지를 여덟 묶음으로 나눠서 했다. 집안일을 글로 수행하는 ALFWorld, 과학 실험을 하는 ScienceWorld, 마인크래프트 제작 과제인 PlanCraft, 앱 기능을 호출해 일상 업무를 처리하는 AppWorld, 가상 고객을 응대하는 τ³-bench 소매 과제다. 모든 방법이 같은 에이전트와 같은 모델을 썼고, 세 번씩 돌려 평균을 냈다. 여덟 묶음 평균은 메모 없는 에이전트 79.5, 기존 기억 기법 세 가지 80.3~81.7, 통찰만 준 경우 87.0, WikiTrace 90.2였다.
저자들은 평균 점수만으로는 부족하다고 본다. 틀리던 과제를 맞히게 된 비율(Gain)과 맞히던 과제를 틀리게 된 비율(Regression)을 따로 쟀다. Regression은 WikiTrace 4.5%, 통찰만 준 경우 6.5%였다. 같은 에이전트를 메모 없이 다시 돌리기만 해도 우연히 9.7%가 뒤집혔다. 오차를 감안한 범위(95% 신뢰구간) 전체가 이 재실행 기준선의 오차 범위보다 아래에 놓인 방법은 WikiTrace뿐이었다. Gain은 재실행 기준선보다 WikiTrace가 35%포인트, 통찰만 준 경우가 27%포인트, 기존 기법들이 7~14%포인트 높았다.
근거 기록은 언제 도움이 됐나
글 명령으로 진행하는 세 벤치마크(ALFWorld, ScienceWorld, PlanCraft)에서 에이전트는 어려운 과제일수록 정리본이나 원본 기록을 더 자주 열었다. 쉬운 과제에서는 실행의 22%, 어려운 과제에서는 44%였다. 효과는 문제가 생긴 뒤에 내려갔을 때 컸다. 시도가 막히거나 통찰이 의심스러워 내려간 경우는 전체 하강의 36%였고, 통찰만 준 경우보다 10.4점 앞섰다. 아무 문제 없이 내려간 경우는 3.7점 앞섰다. 기록을 연 실행의 43%에서 계획이 바뀌었다. 통찰을 고친 경우가 24%, 빠진 세부를 채운 경우가 14%였다.
실패한 작업에서 얻은 교훈도 따로 살폈다. PlanCraft와 ScienceWorld에서 실패 기록만으로 만든 기억이 성공 기록만으로 만든 기억보다 점수가 높았고, 둘을 합치면 가장 높았다. 대신 실패에서 나온 통찰만 건네면 Regression이 가장 커졌다. PlanCraft에서 9.3%, ScienceWorld에서 9.4%였다. 같은 통찰에 근거 기록을 붙이자 7.1%와 8.9%로 낮아졌다. 저자들은 실패 기록은 근거와 함께 보관해야 한다고 본다.
쓸모와 주의할 점
시험할 때 드는 비용은 과제 하나에 통찰만 줄 때의 1.17배였다. 기존 기법이 기억을 만드는 작업을 3배, 9배로 늘려 줘도 평균 점수는 WikiTrace가 높았다. 다른 모델(GLM-5.3-flash)로 세 묶음을 다시 시험했을 때도 WikiTrace가 가장 높았다. 통찰만 준 경우와는 평균 1.8점 차이였다. 코드는 깃허브에 공개했다고 논문에 적혀 있다.
주의할 점은 저자들이 직접 적었다. 원본 기록은 교훈을 확인할 길을 줄 뿐, 교훈이 옳다고 검증해 주지 않는다. 지금 방식은 모든 통찰을 첫 메시지에 넣기 때문에 기억이 커지면 입력도 길어진다. 다 넣을 수 없을 만큼 큰 기억에서 필요한 통찰을 찾는 문제는 남겨 두었다. 또 기록을 열지 말지는 에이전트가 스스로 정한다. 그래서 연 실행과 열지 않은 실행의 차이가 모두 근거 기록 덕이라고 말할 수는 없다.
원문에서 확인한 근거 5곳
- 여덟 묶음 평균 점수는 메모 없음 79.5, 통찰만 87.0, WikiTrace 90.2이고 모든 묶음에서 WikiTrace가 최고였다.4.2절 Main Results, 표 1
- Regression은 WikiTrace 4.5%, 통찰만 6.5%, 메모 없이 재실행 9.7%이고, Gain은 재실행 기준선보다 35%포인트 높았다.4.3절 Gain and Regression, 그림 5, 부록 C의 표 6
- 메모 때문에 틀린 사례 355건(다섯 방식 합계) 가운데 52%가 에이전트가 따른 메모 항목에서 비롯됐고, 그중 틀린 항목이 전체의 20%(70건)로 가장 많았다. 48%(171건)는 메모와 이어진 원인이 확인되지 않았다.3.2절 Understanding Memory-Induced Degradation, 그림 3과 각주 1, 부록 D
- 어려운 과제일수록 정리본이나 원본 기록을 자주 열었고(22% 대 44%), 기록을 연 실행의 43%에서 계획이 바뀌었다.5.1절과 5.2절, 그림 6·8·9, 부록 E.1
- 실패 기록에서 나온 통찰만 주면 Regression이 9.3%와 9.4%까지 올랐고, 근거 기록을 붙이면 7.1%와 8.9%로 낮아졌다.5.3절, 그림 7
11월 13일(금) 11:31 정리 · AI가 쓰고 원문과 대조