연구난이도 보통허깅페이스 화제 논문 · 10월 4일(일) 공개

자기 답변으로 계속 학습하면 왜 성능이 무너질까

긴 텍스트 흐름에서 AI가 자기 출력으로 가중치를 계속 갱신할 때 생기는 악순환을 분리하고, 독립적인 실제 텍스트로 갱신을 검사하는 방법을 비교했습니다.

쉽게 말하면비유하자면 자기가 쓴 글만 교재 삼아 계속 공부하는 학생이 점점 같은 말만 되풀이하고, 다른 실제 글을 예측하는 실력은 떨어지는 것이다. 이 연구는 그 악순환이 어디서 생기는지 나눠 보고, 고친 내용을 따로 떼어 둔 실제 글로 시험해 통과할 때만 받아들이는 규칙을 견줬다.

왜 봐야 하나: 사용 중에 스스로 배우는 AI를 만들 때 자기 출력만으로 계속 학습시키면 성능이 나빠질 수 있다는 근거다. 실제 글로 갱신을 검사하는 장치가 필요하다. 128K 토큰 글 예측 실험이라 모든 자기 개선에 일반화할 수는 없다.

이 논문은 테스트 시점 학습(TTT)에서 모델이 자신이 생성한 텍스트로 계속 학습할 때 장기 예측 성능이 어떻게 나빠지는지를 인과적으로 분해한다. 128K 토큰 스트림 실험에서 생성 텍스트 업데이트를 유지하면 독립적인 실제 텍스트 예측이 악화되며, 고정 생성(Fixed Generation)으로 피드백 고리를 끊으면 피해의 98% 이상이 사라진다. 저자들은 읽기와 쓰기를 분리하고 단일 업데이트의 전이 비용을 측정하여, 원본 적합도가 좋아도 새로운 텍스트에는 해가 될 수 있음을 보인다. 마지막으로 독립적인 실제 텍스트로 후보 상태를 검증하는 Settlement 규칙이 피해를 거의 제거하면서 실제 텍스트 적응 이득은 유지함을 제시한다.

알아낸 것

모델이 자기 출력으로 가중치를 계속 고치면 실제 글 예측이 나빠졌다. 고친 것을 남기지 않은 조건보다 예측 손실이 125M 모델에서 3.01, 760M에서 6.00, 3B에서 0.40 nats(손실 단위) 더 늘었다.
고정된 초기 모델이 글을 만들게 해 되먹임 고리를 끊자 125M과 760M에서 악화분의 98.3%와 98.8%가 사라졌다. 전체 오류가 98% 줄었다는 뜻은 아니다.
고친 내용을 따로 둔 실제 글로 시험해 통과할 때만 남기는 규칙(Settlement)은 125M과 760M에서 그 격차를 0.07과 -0.02 nats로 줄였다. 별도의 실제 글 실험에서는 후보 113개 중 89개를 받아들였다.

한계와 주의할 점

arXiv 최초 공개 2026-10-04인 프리프린트입니다. 128K토큰 스트림의 텍스트 예측 실험이며 모든 종류의 자기 개선·실제 에이전트 작업에 일반화한 결과는 아닙니다.
손실 차이의 단위 nats는 정확도 퍼센트가 아닙니다. 98%는 악화분 제거 비율이며 전체 오류 98% 감소가 아닙니다. Qwen3-4B의 학습률 1e-5 조건은 신뢰구간이 0을 포함합니다.
Settlement는 독립적인 실제 텍스트의 평가 신호를 필요로 합니다. 순수한 무자료 자기 개선으로 소개하지 않습니다.

용어 풀이

테스트 시점 학습(TTT): 추론 중에 모델의 일부 가중치를 입력에 맞게 업데이트하여, 주의 창을 벗어난 정보를 가중치에 저장하는 기법. 이 논문에서는 TTT-E2E와 일반 Adam 업데이트를 사용한다.
폐루프(Closed Loop): 모델이 자신이 생성한 텍스트로 학습하고, 그 업데이트된 가중치가 다음 텍스트를 생성하는 되먹임 고리. 이 논문의 주요 실패 조건이다.
고정 생성(Fixed Generation): 동결된 초기 모델이 모든 학습 청크를 생성하고 별도의 학습자가 그 텍스트로 업데이트하는 실험 조건. 업데이트가 미래 학습 텍스트를 바꾸는 연결을 끊어 피드백 효과를 분리한다.
기록 재생(Recorded Replay): 동일한 저장된 저하 텍스트를 업데이트 없이 읽기만 하는 경우와 업데이트를 유지하며 읽는 경우를 비교하여, 주의 속의 내용 비용과 가중치에 저장되는 추가 비용을 분리하는 방법.
Settlement: 후보 업데이트를 독립적인 실제 텍스트로 평가하여, 그 텍스트에 대한 손실을 낮추는 경우에만 유지하는 순차적 검증 규칙. 원본 적합도 대신 전이 가능성을 기준으로 삼는다.
NLL(음의 로그 우도): 모델이 실제 텍스트를 얼마나 잘 예측하는지 나타내는 손실 지표. 낮을수록 좋다. 이 논문의 모든 손실 차이는 nats 단위이며, 정확도 퍼센트와 다르다.

더 깊이 읽기 읽는 데 약 8분

배경과 문제

테스트 시점 학습(TTT)은 추론 중에 모델의 일부 가중치를 업데이트하여, 주의 창(attention window)을 벗어난 정보를 가중치에 저장할 수 있게 한다. 이 논문은 가중치를 바꾸지 않고 텍스트를 처리하는 것을 '읽기(reading)', 업데이트를 유지하는 것을 '쓰기(writing)'라고 부른다. 모델이 자신의 출력으로 학습하면 현재 가중치가 다음 학습 예제를 생성하고, 그 예제로 업데이트된 가중치가 또 다음 예제를 생성하는 되먹임 고리가 만들어진다. 저자들은 이 '폐루프(Closed Loop)'가 장기적으로 독립적인 실제 텍스트 예측을 해치는지, 그리고 그 경로가 정확히 무엇인지 묻는다.

기존 TTT 연구는 주로 짧은 구간이나 고정된 입력에 초점을 맞추었지만, 긴 문서나 에이전트 스트림에서는 모델이 자신의 미래 학습 데이터를 계속 만들어내는 상황이 현실적이다. 이 논문은 128K 토큰이라는 긴 지평에서 세 가지 TTT-E2E 모델 규모(125M, 760M, 3B)와 일반 Adam 업데이트를 적용한 Qwen3-4B의 학습률 1e-4 조건까지 동일한 방향의 실패를 관찰했다고 보고한다. 1e-5 조건에서는 신뢰구간이 0을 포함했다. 문제의 핵심은 업데이트가 원본 텍스트에 대한 손실을 낮추는 것만으로는 새로운 텍스트에 대한 일반화를 보장하지 못한다는 점이다.

기존 접근의 한계

기존의 자기 개선이나 재귀적 합성 데이터 연구는 여러 모델 세대에 걸친 피드백을 추적하지만, 한 모델이 한 스트림 안에서 자신의 출력으로 계속 학습하는 상황을 분리하지 않는다. aTTT는 에이전트 에피소드 내 피드백을 연구하고 반복 토큰을 낮추지만, 어떤 업데이트가 안전한지 판별하지는 않는다. VANE은 시각 관찰로 업데이트를 검증하지만 언어 모델의 긴 텍스트 스트림에는 직접 적용되지 않는다.

디코딩 전략 변경이나 반복 패널티는 피해 속도를 늦출 수 있지만, 특정 업데이트가 새로운 텍스트에 도움이 되는지 여부를 알려주지 않는다. 예를 들어 반복 패널티는 128K 종점 격차를 3.01에서 0.88 nats로 줄였지만, 어떤 구절을 써도 안전한지는 식별하지 못한다. 또한 주기적 재설정은 피해를 크게 줄이지만 실제 텍스트 적응 이득의 44.1%만 보존하여, 유용한 학습까지 버리는 trade-off를 만든다.

연구방법을 단계별로

주요 비교는 동일한 PG-19 책 6권과 책당 5개 시드를 사용한다. 각 128K 스트림은 8K 토큰의 실제 텍스트로 시작하고, 이후 모델이 105개 청크를 생성하며 주기적으로 별도 실제 구절을 예측한다. 평가 구절은 같은 책의 뒤쪽에서 겹치지 않게 가져오므로, 독립적이라는 말이 반드시 다른 책을 뜻하지는 않는다. 평가 뒤 가중치와 주의 상태를 복원해 평가가 이후 생성에 영향을 주지 않게 한다. 폐루프와 생성 쓰기 끔(Writes Off)은 초기 조건과 실제 접두사가 같고 각자 생성한 토큰을 읽지만, 폐루프만 생성 텍스트 업데이트를 유지한다. 업데이트가 다음 출력을 바꾸므로 두 조건의 생성 토큰까지 동일한 것은 아니다. 두 조건에서 첫 평가부터 마지막 평가까지 손실이 얼마나 바뀌었는지의 차이 H가 추가 악화를 측정한다.

인과 분해는 세 가지 대응 비교로 진행된다. 첫째, 고정 생성(Fixed Generation)은 동결된 초기 모델이 모든 청크를 생성하고 별도의 학습자가 그 텍스트로 업데이트하여, 업데이트가 미래 학습 텍스트를 바꾸는 연결을 끊는다. 둘째, 기록 재생(Recorded Replay)은 동일한 저장된 저하 텍스트를 업데이트 없이 읽기만 하는 경우와 업데이트를 유지하며 읽는 경우를 비교하여, 주의 속의 내용 비용과 가중치에 저장되는 추가 비용을 분리한다. 셋째, 짝지은 단일 업데이트 비교는 동일한 가중치와 주의 상태에서 한 청크의 업데이트를 유지하거나 버리는 두 갈래를 만들어, 그 업데이트 하나가 원본 적합도와 다음 실제 텍스트 예측에 미치는 영향을 측정한다.

결과와 숫자의 의미

표 1에 따르면 생성 텍스트 업데이트를 유지하면 실제 텍스트 NLL의 처음부터 끝까지 변화가 Writes Off보다 추가로 125M에서 +3.01, 760M에서 +6.00, 3B에서 +0.40 nats 증가했다. 모든 신뢰구간이 0을 제외하여 세 규모 모두에서 방향성 있는 실패가 확인되었다. 크기는 모델 규모와 단조 관계가 아니며, 이는 모델 규모가 커질수록 피해가 커진다는 증거가 아니라, 세 규모에서 방향을 재확인한 결과다. 그림 1a는 초기 8K+8K 평가 창에서는 두 조건이 비슷하지만, 이후 많은 자기 쓰기가 누적된 뒤에야 폐루프 손실이 상승함을 보여준다. 즉 실패는 첫 업데이트의 큰 벌칙이 아니라 누적적이다.

고정 생성은 125M과 760M에서 폐루프 격차의 98.3%와 98.8%를 제거하여, 생성 텍스트 자체가 문제가 아니라 업데이트가 미래 학습 텍스트를 바꾸는 피드백이 거의 모든 피해를 설명함을 보여준다. 기록 재생에서는 125M에서 읽기만 해도 1.606 nats의 초과 손실이 발생하고, 읽고 쓰면 3.874 nats로 증가하여 쓰기로 인한 추가 비용이 2.268 nats임을 분리했다. 3B에서도 쓰기 추가 비용이 0.193 nats로 양수였다. 단일 업데이트 비교에서는 조사한 각 이력 조건의 평균에서, 업데이트를 유지하면 원본 청크 손실은 낮아지지만 다음 실제 텍스트 손실은 높아졌다. 폐루프 이력에서는 원본 개선이 0.0354 nats인 반면 실제 텍스트 비용이 0.0381 nats로, 원본 적합도가 전이를 보장하지 않음을 보여준다.

구체적인 예시

폐루프 스트림은 거의 완전히 반복적이 된다. 125M 모델에서 폐루프의 꼬리 Repeated-4 비율은 0.9902인 반면, Writes Off는 0.0217, 고정 생성은 0.0082였다. 그러나 반복 자체가 피해의 원인인지, 아니면 저하된 텍스트를 읽거나 쓰는 효과인지는 분리되지 않았다. 기록 재생은 동일한 반복 텍스트를 고정하여 읽기 비용과 쓰기 비용을 나누었고, 쓰기가 읽기보다 훨씬 큰 추가 손실을 만든다는 것을 보여주었다.

그림 4는 피해가 소수의 늦은 구절에 집중됨을 보여준다. 마지막 위치에서 평균 쓰기 비용은 0.7512 nats로 상승하지만 중앙값은 0.0064 nats로 거의 변하지 않는다. 72개 비교 중 0.5 nats를 넘는 사례는 12개뿐이며, 모두 24개 소스 시퀀스 중 4개에서 나왔다. 한 소스-수신자 쌍이 처음으로 임계값을 넘으면 이후 위치에서도 계속 높은 비용을 보였다. 따라서 위치나 반복만으로는 안전한 쓰기를 식별할 수 없다.

한계와 오해하기 쉬운 점

이 연구는 arXiv 프리프린트이며, 128K 토큰 스트림의 텍스트 예측 실험에 기반한다. 모든 종류의 자기 개선이나 실제 에이전트 작업에 일반화된 결과는 아니다. 손실 차이의 단위 nats는 정확도 퍼센트가 아니며, 98%는 악화분 제거 비율이지 전체 오류 98% 감소가 아니다. Qwen3-4B의 학습률 1e-5 조건은 신뢰구간이 0을 포함하여 효과가 확인되지 않았다. 부록의 WebShop 실험은 검증 목표와 최종 평가 목표가 완전히 분리되도록 강제하지 않았다는 제약도 있다. 텍스트 실험에서는 별도 구절의 손실을, 에이전트 실험에서는 검증 과제 보상을 사용하므로 같은 검증 신호로 혼동하면 안 된다.

Settlement는 독립적인 실제 텍스트의 평가 신호를 필요로 한다. 순수한 무자료 자기 개선으로 소개해서는 안 된다. 또한 Settlement의 잔여 구간은 0을 포함하지만 이는 동등성 검정이 아니므로 Writes Off보다 우수함을 입증하지 않는다. 실제 텍스트 검증 텍스트를 선택하려면 어떤 증거가 실제인지 알아야 하며, 소스 레이블이 손상되면 Source Masking은 성능이 떨어지지만 Settlement는 안정적이었다는 점도 조건부이다.

실제로 어떻게 활용할까

긴 문서나 에이전트 스트림에서 테스트 시점 학습을 적용할 때, 모델이 자신의 출력으로 계속 학습하는 폐루프를 피하거나 주기적으로 실제 텍스트로 끊어야 한다. 실제 텍스트가 31% 균등 간격으로 삽입되면 초과 피해가 0.0694 nats로 줄었지만, 같은 양을 몰아서 넣으면 0.7155 nats로 10배 이상 커졌다. 따라서 실제 텍스트의 빈도와 최대 자기 생성 연속 구간이 모두 중요하다.

업데이트를 유지하기 전에 독립적인 실제 텍스트로 후보 상태를 평가하는 Settlement 규칙은 생성 스트림에서 Writes Off에 가까운 종점을 유지하면서 실제 텍스트 스트림에서는 유용한 업데이트를 받아들였다. 125M과 760M에서 종점 격차가 각각 0.07과 -0.02 nats였고, 별도의 실제 텍스트 스트림 실험에서는 113개 중 89개 후보를 수용하여 Reject All 대비 0.0534 nats의 이득을 보였다. WebShop과 ALFWorld 같은 에이전트 작업에서도 Settlement는 폐루프보다 높은 성공률을 보였지만, 이는 특정 프로토콜 내 비교이며 일반적인 우월성을 주장하지 않는다.

원문에서 확인한 근거 5곳

생성 텍스트 업데이트를 유지하면 독립적인 실제 텍스트 예측이 세 가지 TTT-E2E 모델 규모 모두에서 악화된다.1:Generated-text writes worsen real-text prediction
고정 생성은 125M과 760M에서 폐루프 격차의 98.3%와 98.8%를 제거한다.Table 3:Breaking feedback removes most
기록 재생에서 125M 모델은 읽기만으로 1.606 nats, 읽고 쓰면 3.874 nats의 초과 손실을 보여 쓰기 추가 비용이 2.268 nats이다.Table 4:Degraded content harms through
단일 업데이트는 원본 청크 적합도를 개선하면서도 다음 실제 텍스트 예측을 악화시킬 수 있다.improve source fit while harming
독립 실제 텍스트로 검사하는 Settlement는 별도의 실제 텍스트 스트림에서 후보 업데이트 113개 중 89개를 수용하여 유용한 적응을 보존했다.Table 25:

출처원문 — 허깅페이스 화제 논문 PDF

10월 7일(수) 정리 · AI가 쓰고 원문과 대조