뉴런을 조절했을 때 달라지는 출력을 살펴보는 neuron explorer

배경과 문제

뉴런이 크게 반응한 웹 문장을 모으면 무엇을 읽는지 짐작할 수 있다. 그러나 저자는 반응 크기 순위만으로는 조용하지만 출력에 영향을 주는 뉴런을 놓칠 수 있다고 본다. 예로 든 Qwen3-8B tawny-owl의 뉴런은 시스템 프롬프트의 특정 표현을 옮겼지만 웹 텍스트 순위에서는 두드러지지 않았다. 이는 별도 모델의 배경 사례다.

포럼은 Goodfire의 에세이를 배경으로, 최대 활성 예시의 자동 라벨과 실제 조절 결과가 다를 수 있다고 소개한다. neuron explorer는 이 문제를 출력 변화에서 출발해 탐색한다. 활성 예시를 버리는 대신 직접 입력한 문장의 반응과 렌즈도 함께 보여 주며, 읽는 측면과 쓰는 측면을 대조한다.

기존 접근의 한계

희소 오토인코더(SAE)는 별도로 학습한 특징 방향을 해석 단위로 쓴다. neuron explorer는 추가 SAE 학습 없이 원래 뉴런의 출력 방향을 양·음으로 조절한다. 두 방법은 해석 단위와 필요한 자료가 다르며, 이 로그가 어느 쪽의 설명이 보편적으로 더 정확한지를 비교한 것은 아니다.

같게 맞추는 것은 개입 벡터의 크기이며, 모든 뉴런이 같은 기능적 영향력을 낸다는 뜻은 아니다. 무작위 방향도 같은 크기로 조절해 비교한다. 저자의 보정 실험에서 뉴런 방향은 자기소개에 Grok이나 Microsoft를 등장시켰지만 무작위 방향도 Xiaomi AI를 유도했다. 따라서 답이 달라졌다는 사실만으로 정체성을 담당하는 뉴런이라고 판단하기는 어렵다.

연구방법을 단계별로

스윕은 여러 조건을 차례로 실행하는 탐색이다. 뉴런 n의 다운 프로젝션 열 W_down[:, n]을 정규화하고, 해당 층의 잔차 신호 크기 중앙값에 대한 비율 d만큼 MLP 출력에 더한다. main_rel은 자기소개·Python 뱀 게임·주황색 설명의 세 프롬프트에 −0.7·+0.5·+0.8, 자유 생성 프롬프트에 +3을 적용해 뉴런당 10개 응답을 만든다. 각 프롬프트의 조절하지 않은 기준 응답은 별도로 생성한다.

처음에는 뉴런 자체 최대 활성값을 단위로 썼다. 저자는 22번 층의 뉴런 21개와 무작위 방향 8개를 보정하면서 문장 붕괴가 잔차 대비 개입 크기와 밀접하다고 보고 단위를 바꿨다. 이 보정에서 약 0.5~0.8배를 사용했지만 모든 층에 통하는 안전 범위는 아니었다. +3 응답은 문장이 무너졌을 때 반복되는 토큰을 보는 용도다.

순위 코드 rank.py는 기준 응답에 있던 단어를 빼고, 문자 세 개 이상인 단어를 응답당 한 번 센다. 두 개 이상 응답에 나온 단어의 빈도를 전체 뉴런·무작위 단위 평균과 비교한 z 점수 중 상위 다섯 양의 값을 합쳐 단어 묶음 점수로 삼는다. rel_push 1.6 이하만 포함해 +3 붕괴 응답은 제외한다. 대조군 백분위는 점수가 낮은 무작위 방향의 비율이며 통계적 유의성이나 해석의 정답 확률은 아니다.

결과와 숫자의 의미

22번 층과 8번 층의 전체 스윕은 각각 뉴런 9,216개와 무작위 방향 256개를 비교했다. 모든 대조군보다 점수가 높은 뉴런은 각각 1,803개(19.6%)와 757개(8.2%)였다. 미리 알려진 양성 대조 사례인 2742번 뉴런은 22번 층에서 405위, 상위 4.4%였다. 외계 생명체 주제를 유도한 이 뉴런도 많은 출력 변화 사례 중 하나였다는 관찰이다. 이 점수로 뉴런의 기능을 완전히 식별했다는 뜻은 아니다.

깊이 조사는 층마다 뉴런 384개와 무작위 방향 64개의 부분집합을 썼다. 8·22번 층은 전체 스윕에서 같은 수를 추렸고 나머지 30개 층은 새로 실행했다. 여기서는 대조군의 95번째 백분위를 넘는 비율을 보므로 앞선 모든 대조군 초과 비율과 다르다. 초반에는 주제, 중간에는 담화 표현, 후반에는 어근이 같은 단어들이 두드러졌다. 중간층 점수 하락이 기준 단어 제외 때문이라는 가설은 모든 단어를 세는 비교에서도 하락이 남아 지지되지 않았다. 특징이 분산돼서라는 설명은 검증하지 않은 해석이다.

3D 지도에서 격자 이웃이 실제 출력 방향의 최근접 50개 이웃에 속하는 비율은 8번 층 4.7%, 22번 층 12.9%였다. 무작위 배치는 두 층 모두 0.5%여서 약 9배·26배지만 절대 비율은 낮다. 저자는 이웃을 가끔 조금 관련 있는 정도로 해석한다. 연결 정보도 가중치로 계산한 직접 경로 점수여서, 특정 입력의 인과 회로를 그대로 보여 주는 지도는 아니다.

구체적인 예시

실제 로그의 22번 층 2742번 뉴런 사례에서 자기소개 질문에 외계 지성체 Extrali라는 답이 나왔다. 초기 최대 활성값 단위 +2, 잔차 노름으로는 약 0.74배를 더한 조건이다. 이는 main_rel의 d=+2가 아니다. 먼저 알려진 사례는 자연 활성값을 두 배로 곱한 개입이므로, 두 방식의 숫자를 같은 강도로 비교할 수 없다. 선택된 생성 사례이지 모델의 믿음이나 뉴런의 유일한 역할을 판정한 결과도 아니다.

로짓 렌즈는 뉴런의 출력 방향을 바로 어휘로 투영해 직접 경로를 본다. 스티어 렌즈는 짧은 문맥 네 개에서 ±0.8로 조절한 뒤 모델 전체를 통과시켜 다음 토큰 로그 확률 변화를 평균한다. 로그에서 22번 층 5344번 뉴런의 로짓 렌즈에는 indicator가 보였지만 스티어 렌즈에는 responsible도 나타났고, −0.8 대화는 Responsible AI라는 자기소개를 냈다. 두 관찰 도구가 다른 정보를 줄 수 있다는 사례다.

한계와 오해하기 쉬운 점

10월 31일은 새 포럼 해설의 게시일이다. 공개 API에 기록된 저장소 생성은 10월 21일이고 연구 로그는 10월 18~21일 작업을 기술하지만, 최초 공개 전환일은 확인되지 않았다. 별도 논문이나 독립 재현으로 검증된 결과가 아니라 저자의 탐색 기록이다. 출력 방향을 더하는 개입은 자연 활성값을 곱하거나 뉴런을 제거하는 실험과도 구별해야 한다.

0~2번 층은 같은 상대 크기에서 무작위 방향까지 빈 응답이 많아 저자가 유효한 측정으로 보지 않았다. 따라서 32개 층 전체를 같은 조건으로 검증한 결론은 아니다. 소수 프롬프트와 단어 점수만으로 자연스러운 모든 입력의 의미·추론 기능을 설명할 수도 없다. 저장소에 생성 결과와 통계가 포함되지 않아 여기서 독립 재현하지 않았으며, 로그에는 캡처 유실 후 재구성한 이력도 있다.

탐색기의 에이전트 기능은 데이터 조회에만 한정되지 않는다. 읽은 현재 서버 코드의 Claude 경로는 파일 읽기·쓰기·셸 도구를 사전 허용하고 홈 폴더를 추가하며 프로젝트 설정만 불러온다. Codex 경로도 승인 요청 없이 넓은 파일 접근을 허용하도록 설정돼 있다. localhost에서만 서버에 접속하게 하는 장치가 이 파일 권한을 제한하는 것은 아니다. 이 해설에서는 해당 코드를 실행하지 않았다.

실제로 어떻게 활용할까

이 도구의 활용 대상은 뉴런 역할에 대한 가설을 세우고 반례를 찾으려는 연구자다. 같은 크기의 무작위 방향과 다른 프롬프트에서도 주제가 유지되는지 대조할 수 있다. 로그는 RTX 4090 네 장에서 층 전체 약 한 시간, 깊이 부분조사 약 한 시간 50분·6달러를 기록하지만 해당 실행의 관찰이지 다른 환경의 비용 보장은 아니다.

저장소의 캐시로 지도·렌즈·연결을 볼 수 있고, 로컬 모델을 불러 실시간 관찰을 할 수 있다. 생성 예시·순위·임베딩을 채우려면 별도 스윕 결과와 통계를 준비해야 하며, README의 대량 스윕은 CUDA 13 GPU와 전용 vLLM 포크를 쓴다. 모델 경로가 Qwen3.5-4B로 고정돼 있어 다른 모델의 결과까지 제공하는 완성된 해석 데이터베이스로 볼 수는 없다.