RAG: 좋은 검색 기법을 더하면 성능도 그대로 더해질까

배경과 문제

검색 증강 생성(RAG)은 대형 언어 모델이 외부 지식에 근거해 답하도록 하는 방식이다. 현대 RAG 파이프라인은 임베딩, 청킹, 검색, 재순위화, 질의 확장, 문맥 압축, 에이전트 검증 등 여러 단계를 조합한다. 그런데 대부분의 연구는 한 번에 한 단계만 바꿔가며 성능을 측정한다. 예를 들어 어떤 재순위화 기법이 단독으로 NDCG@10을 0.084점 올렸다는 결과가 있어도, 그 기법을 다른 기법들과 함께 쓸 때도 같은 이득이 유지되는지는 알 수 없다. 이 논문은 바로 이 '구성성(compositionality)' 문제를 다룬다. 개별적으로 강한 기법들이 서로 겹치거나 간섭하면, 합쳤을 때 예상보다 훨씬 적은 이득을 얻을 수 있다.

또한 RAG 시스템은 검색 품질(올바른 문서를 찾았는가)과 답변 충실도(생성된 답변이 검색된 문서에 근거하는가)라는 두 가지 목표로 평가된다. 이 두 지표가 같은 설계 선택을 선호하는지도 불분명하다. 예를 들어 검색 성능을 높이는 임베딩 모델이 답변 충실도에는 거의 영향을 주지 않을 수 있다. 게다가 대부분의 구성요소를 하나씩 바꾸는 연구는 5K~50K 문서 규모에서 수행되는데, 실제 배포 환경은 그보다 훨씬 큰 말뭉치를 다룬다. 작은 말뭉치에서 얻은 결론이 큰 말뭉치에서도 유지되는지도 검증되지 않았다. 저자들은 상호작용·배포 목표·규모 변화에 관한 가설 H1~H3를 내부적으로 사전 선언했다. 해시 기록은 있지만 외부 등록소의 독립적인 타임스탬프로 확인된 사전등록은 아니다.

기존 접근의 한계

기존 RAG 평가 연구는 크게 세 가지 방식으로 나뉜다. 첫째, 최적 구성을 찾기 위해 탐욕적 검색이나 그리드 탐색을 사용하는 연구(Wang et al., 2024; Kim et al., 2024)는 강한 구성을 찾을 수는 있지만, 어떤 구성 요소가 다른 요소와 어떻게 상호작용하는지 측정하지 않는다. 둘째, BERGEN이나 FlashRAG 같은 벤치마킹 라이브러리는 여러 구성을 조합할 수 있게 하지만, 단계 간 격리를 강제하지 않아 측정된 차이를 특정 구성 요소의 변화에 깨끗하게 귀속시키기 어렵다. 셋째, 평가 스위트(Krishna et al., 2025)나 도메인 벤치마크(Xiong et al., 2024)는 지표와 과제를 제공하지만, 통제된 조합 실험을 위한 공통 파이프라인을 제공하지 않는다.

저자들은 LASAGNA 프레임워크에서 각 단계를 고정된 인터페이스로 나누어 다른 구현을 끼워 넣을 수 있게 했다. 목표는 같은 주변 구성을 유지하면서 한 단계의 차이를 비교하고, 여러 요소의 조합 효과도 조사하는 것이다. 실제 연구에는 요인설계 실행 외에도 24개 보조 실험의 138개 구성이 포함된다. 프레임워크가 실험을 조직해 준다고 해서, 불완전하게 실행된 설계에서 모든 상호작용이 식별되는 것은 아니다.

연구방법을 단계별로

여덟 실험 차원은 임베딩, 청킹, 인덱스 보강, 검색, 질의 확장, 재순위화, 문맥 압축, 에이전트 게이트다. 전체 30,720개 조합에서 정보를 효율적으로 얻으려는 D-최적 설계로 242개를 계획했다. 이 중 GraphRAG 관련 63개 제외와 12개 시간 초과 뒤 검색은 167개, 생성은 122개 구성이 완료됐다. 검색 질의는 93개, 생성 질의는 56개로 서로 다른 트랙이다. 전체 450개 구성을 모든 규모와 모든 벤치마크에서 빠짐없이 반복한 설계는 아니다.

검색은 상위 열 개 문서의 순위 품질인 NDCG@10, 생성은 문맥이 답변 주장을 뒷받침하는 정도인 RAGAS 충실도 등을 썼다. 프로파일 비교의 HV는 NDCG×충실도×max(0,1−지연시간/기준시간)이며 기준시간을 30초로 둔다. 돈으로 환산한 비용 지표는 아니다. H1은 상호작용의 분산 설명력, H2는 여러 배포 목표를 포괄하는 구성, H3는 규모에 따른 순위 변화를 묻는다. 각 가설의 원래 검정 계획과 실제 수행한 보조 비교를 구별해야 한다.

결과와 숫자의 의미

검색 실험에서 재순위화 +0.084, MMR 비활성화 +0.046, 문서 접두사 +0.062는 NDCG의 절대 점수 차이다. 합치면 기준 0.412에서 0.604, 즉 46.6% 개선을 예상하지만 해당 요소를 포함한 BALANCED는 0.483으로 17.2% 개선이었다. 예상 개선량 중 약 63%가 실현되지 않은 셈이다. 충실도 비교에서는 예상 +28%와 최적 구성 +32%를 보고했지만, 정확히 같은 요소를 쌓아 비교한 실험이 아니다. 이를 충실도의 가산성이 증명된 것으로 받아들여서는 안 된다.

분석에서 검색은 임베딩·보강·재순위화와, 충실도는 질의 확장·에이전트 게이트와 강하게 연관됐다. 보고한 η²는 다른 요인을 보정하지 않은 주변 효과여서 인과 기여도로 더할 수 없다. 같은 구성을 맞춘 분석의 두 지표 상관은 r=−0.01이었다. 표 2는 네 프로파일을 생성 43개·검색 56개 질의와 세 시드로 비교한다. STANDARD는 검색 0.860·충실도 0.739·5.30초, BALANCED는 0.840·0.911·12.25초로 어느 쪽도 모두 앞서지 않았다. 30초 기준 HV는 STANDARD가 0.523으로 가장 높았다.

구체적인 예시

Figure 9는 앞의 세 기법에 하이브리드 검색과 HyDE까지 넣은 다섯 기법의 별도 비교다. 기준 0.412에 개별 개선을 더한 예상값 0.667과 실제 0.483의 차이는 예상 개선량의 약 72%다. 앞의 63%와 모순되는 것이 아니라 합산한 요소가 다르다. 저자들은 여러 기법이 질의와 문단을 연결하는 기능을 일부 중복 수행하기 때문일 수 있다고 해석한다. 이것이 손실 원인을 하나로 확정한 인과 실험은 아니다.

생성 쪽의 집중 실험은 질의 처리 다섯 가지와 에이전트 게이트 네 가지를 조합했다. Speculative-RAG에서 질의 분해는 가산 예측보다 충실도가 4.7퍼센트포인트 높고 넓은 질의 확장은 4.1포인트 낮았다. 저자들은 분해가 초안 검증에 서로 다른 하위 문제를 주는 반면 확장은 겹치는 증거를 늘릴 수 있다고 해석한다. 이 예는 요소 이름만으로 좋고 나쁨을 정하기 어렵다는 점을 보여 주며, 다른 조합에서도 같은 차이가 난다는 뜻은 아니다.

한계와 오해하기 쉬운 점

이 연구는 영어 공개 자료를 섞어 만든 하나의 평가 환경이다. 실험별 검색 질의는 최대 93개, 생성 질의는 최대 200개로 실제 기업·다국어 자료나 오픈 가중치 생성기로 일반화되지 않았다. 주요 충실도 결과는 GPT-5.1 심사 점수이며 보조 심사·보정만으로 모든 편향이 제거되지는 않는다. 표 2는 프로파일마다 기본 답변 프롬프트와 길이도 달라, 충실도 차이를 검색 기법만의 효과로 돌릴 수 없다.

H1의 모든 이차 상호작용을 함께 추정하려면 232개 계수가 필요하지만 완전한 생성 기록은 113개 구성뿐이었다. 이전 개별 표본 분석의 의사 반복 문제를 인정했으며, 집계 η²=0.428도 민감도 분석이라 원래 20% 가설을 확증하지 않는다. H2의 다섯 벤치마크 검정 계획도 실행되지 않았다. 소규모 프로파일 비교를 그 검정의 성공으로 바꿔 읽으면 안 된다. 코드 프레임워크는 공개됐지만 논문별 설계행렬·원시 점수·분석 스크립트는 저자에게 요청해야 한다.

원본 102쪽 PDF와 전체 추출본을 보존했다. 이 해설의 생성 입력은 길이 제한에 맞춰 참고문헌 목록만 제외했으며, 본문·방법·결과·한계·부록은 유지했다. 자료에 인용된 다른 연구의 내용을 이번 실험 결과로 합쳐 해석하지 않았다.

실제로 어떻게 활용할까

개별 기법의 개선은 출발점으로 삼되, 전체 파이프라인에 넣었을 때도 재평가하는 것이 실무적 교훈이다. 새 재순위화나 청킹을 도입하면 같은 주변 구성에서 검색 품질과 답변 충실도, 지연시간을 함께 비교할 수 있다. LASAGNA의 모듈 인터페이스와 실험 설정은 이런 비교를 조직하는 도구다. 프레임워크 사용 자체가 구현 차이를 모두 없애거나 인과성을 보장하지는 않는다.

배포할 문서집 규모에서도 다시 시험해야 한다. 5K·15K에서 STANDARD 우세는 한 시드의 점추정이고, 25K의 BALANCED 우세도 두 시드에서 p=0.178이었다. 200K에서는 BALANCED 0.491, STANDARD 0.432로 상대 13.7% 차이(p=0.003)를 보였지만, 100K의 차이는 p=0.327이었다. 모든 규모에서 일관된 통계적 우월성은 아니다. 500K·1M 값은 측정이 아닌 외삽이다. 따라서 속도·검색·충실도 목적에 맞는 후보를 자체 자료에서 검증하는 데 이 결과를 활용하는 편이 적절하다.