AKV: 에이전트의 대화 기록 대신 KV 캐시를 직접 관리하기

배경과 문제

LLM 에이전트는 추론, 도구 호출, 환경 관찰을 반복하며 수백 라운드에 걸친 긴 궤적을 만든다. 이 과정에서 각 토큰의 key-value(KV) 상태를 캐시에 저장해 두는데, 궤적이 길어질수록 이 캐시를 저장하고 읽는 비용이 커진다. Figure 13의 GPT-OSS-120B·BCP 기본 요약 설정에서는 캐시 읽기가 추정 API 비용의 82.4%를 차지했다. 이는 모든 모델과 서비스의 비용 비율을 뜻하지 않는다. 또한 에이전트가 주의를 기울여야 하는 KV 상태 수나 위치 범위가 모델이 안정적으로 처리할 수 있는 한계를 넘으면 정확도가 크게 떨어진다. 따라서 효율성과 신뢰성을 모두 지키려면 활성 KV 캐시를 세밀하게 관리해야 한다.

기존 컨텍스트 엔지니어링은 오래된 메시지를 자르거나 요약해 텍스트 자체를 줄인다. 그러나 앞부분이 바뀌면 그 뒤 토큰의 KV 상태도 다시 계산해야 한다. 그래서 실제 에이전트는 임계 길이에 도달할 때까지 기다렸다가 한 번에 많은 기록을 압축하기도 한다. 재계산 비용을 피하려고 오래 기다리면 읽을 캐시가 커지고, 크게 줄이면 필요한 중간 정보를 잃을 수 있다는 문제가 있다.

기존 접근의 한계

GPT-OSS-120B로 BCP 첫 100개 과제를 각각 네 번, 최대 100턴까지 실행한 동기 실험에서 최근 12개 도구 응답만 남기는 텍스트 트리밍 비용은 전체 컨텍스트 기준의 1.85배였다. 48k 토큰에서 요약하는 방식은 비용을 약 7% 낮췄지만 정확도는 5퍼센트포인트 떨어졌다. 기록을 줄이면 항상 총비용도 줄어든다고 볼 수 없는 이유다.

기존 캐시 제거 연구는 위치나 어텐션 중요도 같은 신호를 사용한다. 에이전트에서는 메시지가 추론인지 도구 출력인지, 얼마나 최근인지도 유용한 판단 기준이 될 수 있다. Figure 2는 요청 10개의 관찰에서 오래된 내용과 도구 응답의 어텐션이 상대적으로 작았음을 보여 준다. 이를 모든 작업의 법칙으로 삼기보다, 작업 의미를 아는 에이전트나 실행 환경이 캐시 정책을 선택할 수 있게 하자는 것이 연구의 방향이다.

연구방법을 단계별로

저자들은 '캐시 엔지니어링'이라는 개념을 제안한다. 텍스트 궤적은 그대로 두고, 활성 KV 캐시만 직접 조작하는 것이다. 이를 위해 기존의 append(새 토큰의 KV 추가) 외에 두 가지 연산을 정의한다. 첫째, drop(P)는 선택한 논리 토큰 인덱스 집합 P의 KV 항목을 이후 attention에서 제외한다. 남은 항목의 순서와 위치 인코딩, 논리 토큰 시퀀스는 변하지 않는다. 둘째, repos는 남은 캐시 키의 위치 인코딩을 0부터 r-1까지 다시 매기고, 다음 append가 사용할 위치 인덱스를 r로 재설정한다. RoPE 기반 모델에서는 회전 행렬을 이용해 키를 회전시키고 값은 그대로 둔다. 이렇게 하면 캐시 크기가 작아져도 위치 인덱스가 모델 한계를 넘지 않도록 관리할 수 있다.

연산 순서도 저장해야 한다. Figure 5의 첫 경로는 A와 B가 있는 상태에서 C를 계산한 뒤 A를 drop하고, 둘째는 A를 drop한 뒤 C를 계산하며, 셋째는 처음부터 A 없이 B를 계산한다. 첫째와 둘째의 B는 모두 A를 보며 계산되었으므로 같다. 반면 셋째의 B는 다르고, C는 세 경로에서 서로 다른 상태를 본다. 최종적으로 남은 텍스트가 B와 C라는 사실만으로 캐시가 같다고 판단하면 틀린 결과를 재사용할 수 있다.

AKV는 클라이언트가 전체 messages와 선택적인 cache 연산 목록을 보내는 무상태 인터페이스를 제공한다. 실제 캐시는 서버가 관리한다. 클라이언트는 어느 메시지 뒤에 무엇을 drop하고 언제 repos할지 명시하며, 물리 메모리에 어떤 상태가 남아 있는지 직접 추적하지 않는다. 이 확장 기능을 이해하는 AKV 서버가 전제되어야 하며, 기존 일반 대화 API에 임의 필드를 추가한다고 동작하는 것은 아니다.

서버의 확장 radix tree는 토큰뿐 아니라 drop·repos 이력을 구분한다. 어떤 요청에서 제외한 캐시도 다른 요청이나 복원에 필요하면 바로 메모리에서 지우지 않는다. 캐시를 복원할 때는 연산 경계별로 쿼리를 나누고 각 구간이 원래 보았던 캐시만 보도록 하는 segment-batch attention을 사용한다. FFN 계산은 전체를 함께 처리해 메모리 이동을 줄인다. 이런 장치로 서로 다른 이력을 보존하면서 한 번의 prefill 패스로 필요한 상태를 복원한다.

결과와 숫자의 의미

MiniMax-M2.7, GPT-OSS-120B, MiroThinker-1.7-Mini를 BCP, GAIA-Text, SWE-Verified, xbench-DS에서 평가했다. 기본 정책은 최근 도구 응답 12개의 KV와 모든 추론 KV를 남긴다. Standard 요약 임계값은 앞의 두 모델 96k, Miro는 192k이며 repos도 이에 맞췄다. 별도 Text Engineering 기준은 48k에서 요약한다. Table 1의 모델별 네 과제 평균 점수는 Standard보다 1.3~2.1퍼센트포인트 높았고, 전체 평균 비용 감소는 27.7%였다. GPT-OSS 평균은 51.0%·11.2센트에서 53.1%·7.3센트로 바뀌었다.

다만 모든 과제에서 개선된 것은 아니다. GPT-OSS-120B의 xbench-DS 점수는 38.5%에서 37.5%로, MiniMax-M2.7의 SWE-Verified 점수는 75.2%에서 74.4%로, MiroThinker-1.7-Mini의 SWE-Verified 점수는 7.8%에서 7.4%로 소폭 하락했다. 비용도 MiniMax-M2.7의 GAIA-Text는 2.4센트에서 2.6센트로, MiroThinker-1.7-Mini의 GAIA-Text는 9.2센트에서 9.5센트로 증가했다. 따라서 평균 1.7포인트 개선은 모든 작업에서의 일관된 향상이 아니라, 일부 하락을 상쇄한 전체 평균이다.

속도 실험은 GPT-OSS-120B로 Top-80 SWE-Verified의 기록된 궤적을 재생했다. Table 2에서 각 방식의 최대 처리량 설정은 Standard 동시 실행 12개, AKV 14개로 다르다. 출력 처리량은 초당 313토큰에서 369토큰으로 1.18배, P95 요청 지연은 43.16초에서 28.49초로 줄었다. 입력 처리량 1.53배는 제외된 토큰까지 포함한 논리 입력량으로 계산한 값이다. 동일 동시 실행 수에서 실제 에이전트 작업을 완료한 속도가 그대로 1.18배라는 뜻은 아니다.

재귀적 자기 개선(RSI) 실험도 주목할 만하다. MiniMax-M2.7로 20개 BCP 작업에서 정책을 탐색하고 100개 별도 작업에서 평가했을 때, RSI가 찾은 정책은 Standard 대비 비용을 17.8% 줄였고, 수동 설계 정책(K=12) 대비 7.1% 추가 절감했다. 이는 캐시 엔지니어링이 프로그래밍 가능한 인터페이스를 제공함으로써 에이전트가 스스로 더 나은 캐시 관리 전략을 찾을 수 있음을 보여준다. 단, 이 비교 기준은 앞서 언급한 벤치마크 평균과 다르므로 직접 비교해서는 안 된다.

구체적인 예시

Figure 1의 박물관 개장 연도 예시를 보자. 이전 검색에는 카페 시간, 티켓, 버스 노선과 개장 연도 1998년이 섞여 있다. 텍스트를 잘라내는 방법은 남은 기록을 다시 계산하지만, 캐시 엔지니어링은 기록 자체를 보존한 채 불필요한 KV만 향후 어텐션에서 제외한다. 남은 KV는 제외 전의 문맥을 이미 반영하고 있을 수 있다. 이 그림은 작동 원리의 예시이며, 특정 정보가 항상 완벽하게 보존된다는 실험 결과는 아니다.

API 예시에서는 메시지 번호와 함께 drop할 메시지, 위치를 다시 매길 시점을 지정한다. 예컨대 긴 검색 결과를 읽고 추론한 뒤 오래된 도구 응답의 캐시는 제외하고 추론 캐시는 남기는 정책을 표현할 수 있다. 서버는 같은 메시지라도 연산 이력이 다르면 다른 상태로 다룬다. 단순히 오래된 텍스트를 삭제하는 것과 달리, 무엇을 언제 보았는지까지 캐시 재사용 규칙에 들어가는 셈이다.

한계와 오해하기 쉬운 점

drop은 정보의 완전한 삭제가 아니다. 제외 전에 만들어진 다른 KV에는 과거 정보의 영향이 남을 수 있으므로 개인정보 제거·언러닝을 보장하지 않는다. 또한 drop은 위치 인코딩을 바꾸지 않는다. 남은 캐시가 작더라도 위치 번호는 계속 늘 수 있어, 이를 재조정하려면 repos가 필요하다.

최근 도구 응답 12개와 모든 추론 KV를 남기는 기본 정책은 총캐시를 고정 크기로 제한하지 않는다. 추론이 쌓이면 캐시는 계속 커지며, repos도 크기를 상한에 묶는 연산은 아니다. 선형 어텐션 지원과 더 다양한 작업·정책 검증은 후속 과제로 남아 있다.

비용은 활성 입력·출력 토큰과 요약 호출 단가로 추정했고, repos도 캐시 적중 요금으로 계산했다. 속도 실험은 SGLang·BF16에서 A800 80GB GPU 8개를 프리필 4개와 디코드 4개로 나눠 썼으며 도구 응답은 기록을 재생했다. 별도의 온라인 평가나 RSI 정책 탐색과 조건이 같지 않다. 이 비용·하드웨어·실행 조건을 바꾸면 절감 폭도 달라질 수 있다.

실제로 어떻게 활용할까

활용 대상은 검색·코드 수정처럼 긴 도구 출력을 반복해서 받는 에이전트다. 적용하려면 KV 상태를 다루는 서버 기능과 클라이언트의 연산 이력 전달이 모두 필요하다. 정책을 바꿔 가며 정답률, 모델 호출 비용, 요청 지연을 함께 측정해야 한다. RSI는 수동 정책보다 나은 방법을 탐색할 수 있음을 보여 주지만, 그 탐색 비용까지 업무 전체 비용에서 고려해야 한다.

캐시 관리를 에이전트의 도구로 노출한 Cache-As-Tool 실험도 있다. BCP 100개 부분집합에서 GPT-OSS는 점수 52.1%에서 61.0%, 비용 13.4센트에서 12.1센트로 바뀌었다. MiniMax는 56.0%에서 64.0%로 높아졌지만 비용은 5.4센트에서 5.9센트로 늘었다. 자동 정책이 점수와 비용을 늘 같은 방향으로 개선하는 것은 아니므로, 기본 rolling-drop 결과와 이 별도 설정을 구분해 활용해야 한다.