AI가 잘 풀 수 있는 과학 문제를 찾는 BootLoops

배경과 문제

AI 모델이 어려운 문제나 오래된 난제를 해결했다는 뉴스가 등장하지만, 실제 연구 현장에서 AI를 사용하는 과학자들은 괴리감을 느낀다. 수학은 문제를 완전히 서술하고 답을 절대적으로 검증할 수 있는 특수한 분야지만, 대부분의 과학은 그렇지 않다. 저자는 이 괴리의 핵심을 '임피던스 불일치'라고 부른다. 두 시스템이 각각 잘 작동하지만 서로 맞지 않아, 한쪽이 넣는 것의 대부분이 다른 쪽에 전달되지 않는 현상이다.

클로드와 GPT 같은 대규모 언어 모델은 과학 지식이 풍부하고 코딩 능력이 뛰어나지만, 인간 과학자처럼 깊은 개념적 질문을 다루는 데는 한계가 있다. 대신 방대한 분야의 지식을 기계 속도로 파싱하고, 수학·통계의 최신 기법을 알고 있으며, 코드를 빠르게 작성하는 능력이 탁월하다. 따라서 AI가 잘하는 문제를 찾아내는 것이 생산적인 협업의 출발점이 된다.

기존 접근의 한계

저자는 이전에 클로드를 연구 조교로 사용해 본 경험을 소개한다. 저자는 당시 클로드 오퍼스 4.5가 뛰어난 대학원생처럼 일하며 속도는 20배쯤 빨랐다고 회고하지만, 이는 통제된 생산성 실험의 측정값이 아니라 개인적 경험 평가다. 실제 작업 과정에는 많은 개입이 필요했다. 모든 문장을 수정하고, 관련 없는 길로 빠지지 않도록 유도하고, 막다른 골목에서 되돌려야 했다. 즉, 인간 과학자가 원하는 방식으로 AI를 다루려 하면 비효율적이다.

이번에는 접근을 바꿔 클로드를 '내가 원하는 협력자'가 아니라 '실제로 그런 협력자'로 대했다. 즉, 클로드의 강점에 맞는 문제를 찾는 것이다. 클로드는 깊은 개념적 질문에는 도움이 되지 않지만, 코딩이 필요한 정량적 계산에는 뛰어나다. 따라서 코딩이 도움이 되는 분야에서 클로드 모양 문제를 찾기 시작했다.

연구방법을 단계별로

저자는 산란 진폭 계산이라는 물리학 문제에서 시작했다. 산란 진폭은 대형 강입자 충돌기의 데이터를 해석하는 이론적 다리로, 파인만 다이어그램이라는 다차원 적분을 포함한다. 전통적인 방법은 적분을 직접 계산하는 것이지만, 최근에는 'S-행렬 부트스트랩'이라는 대안이 발전했다. 이 방법은 물리적 제약을 부과하여 가능한 답을 하나로 좁혀 나간다. 반수치적 부트스트랩은 소수의 점에서 진폭을 매우 높은 정밀도로 계산하여 남은 계수를 정확히 결정한다.

저자는 클로드에게 다양한 언어로 흩어져 있는 부트스트랩 코드를 공통 프레임워크로 이식하고, 논문에 코드가 없는 경우 새로 작성하도록 지시했다. 저자는 클로드가 자신의 논문 결과를 약 20분 만에 재현했다고 설명한다. 비교 대상으로 제시한 몇 주는 저자가 그 결과를 얻는 코드를 작성하는 데 들인 기간이므로, 같은 작업의 엄밀한 속도 비교는 아니다. 또한 저자가 비효율적으로 하고 있던 부분을 지적하고 더 나은 알고리즘을 제안했다. 이후 클로드에게 미해결 진폭을 찾도록 했고, 로그 함수보다 어려운 타원 적분으로 일반화하는 데 성공했다. 이 과정에서 'BootLoops'라는 도구 모음이 성장했다.

BootLoops는 LLM을 위한 일종의 하네스(harness)로, 클로드 코드나 클로드 사이언스와 유사한 역할을 한다. 저자는 클로드가 도구를 사용하고 새로운 도구를 만들도록 장려하여 하네스를 확장했다. 이 도구는 정량 과학의 특정 문제 클래스에 특히 적합하다. 오픈 소스로 공개되어 어떤 모델과도 사용할 수 있다.

결과와 숫자의 의미

BootLoops를 사용한 초기 성과 중 하나는 생태학의 중립 생물다양성 이론과 관련된 방정식을 해결한 것이다. 2005년 생태학자 람팔 에티엔이 제안한 방정식은 20년 동안 대규모로 풀 수 없었는데, 클로드가 이를 BootLoops 모양으로 인식하고 해결했다. 파나마 운하의 바로 콜로라도 섬 데이터에 적용한 결과, 나무 종의 혼합이 중립 이론이 허용하는 것보다 4.5배 빠르게 변한다는 것을 발견했다. 그러나 생태학 전문가 제임스 오드와이어는 이 결과가 기술적으로는 인상적이지만 많은 생태학자들에게 무시될 것이라고 지적했다. 대신 중립 예측을 빼고 나머지를 연구하는 후속 모델을 제안했고, 결국 데이터와 잘 맞는 최소 예측 모델을 만들었다.

집단 유전학 프로젝트에서는 수학 물리학에서 가져온 방법으로 자연 선택이 희귀 돌연변이를 형성하는 30년 된 적분 표현을 해결했다. 이를 인간 유전 변이의 최대 공개 카탈로그인 gnomAD에 적용했지만, 생물학자 마이클 데사이는 기술적 결과에는 감탄했지만 과학적으로는 설득되지 않았다. 대신 단일 염색체에서 돌연변이 쌍 사이의 상관관계를 연구하도록 방향을 바꾸었다. 1000 게놈 프로젝트의 57억 쌍의 인접 돌연변이를 분석하여 유전자 전환이라는 메커니즘의 증거를 찾았다. 이는 연관 유전 변이를 사용하는 거의 모든 분석이 유전자 전환을 무시하기 때문에 중요한 발견이다.

경제학에서는 5개 주요 저널의 4,452편 논문의 복제 패키지를 MATLAB, Stata 등 상용 도구에서 오픈 소스 코드로 이식하고(약 30,000개 루틴), 출판된 표와 대조하여 검증 가능한 거의 모든 숫자를 확인하는 AI 데이터 편집기를 구축했다. 언어학에서는 6,072개 언어의 단어 강세 데이터베이스 AccStack을 구축했는데, 거의 모든 항목에 대해 결정적인 구절을 인용하고 160,000개의 음운론 문헌 목록을 포함한다. 이 외에도 계통발생학, 지구과학, 유전체학, 흑점, 수리물리학, 우주론, 통계학 등 다양한 분야에서 성과를 냈다. 저자는 약 400개 후보 문제 가운데 여러 과제를 골라, 3개월 동안 19명의 공동저자와 18개 분야의 원고 36개를 병행했다고 보고한다. 이 수는 작성 완료·출판·동료심사가 확인된 논문 수를 뜻하지 않는다.

구체적인 예시

중립 생물다양성 이론의 예는 AI가 기술적으로 정확한 결과를 내더라도 과학적 의미는 전문가의 판단이 필요함을 보여준다. 클로드는 에티엔의 방정식을 풀고 데이터에 적용하여 '중립 이론보다 4.5배 빠른 변화'라는 수치를 산출했다. 그러나 생태학자들은 이미 정성적으로 중립 이론이 실제 숲을 따라잡지 못한다는 것을 알고 있었다. 전문가의 안내로 중립 예측을 빼고 잔차를 연구하는 방향으로 전환하여, 자연 선택과 종 간 차이에 기인한 변화를 분리할 수 있었다.

집단 유전학의 예에서는 클로드가 처음에 30년 된 적분을 해결하고 gnomAD에 적용한 결과에 매우 흥분했지만, 저자는 확신하지 못했다. 세 명의 생물학자에게 검증을 요청한 끝에 마이클 데사이의 조언으로 돌연변이 쌍의 상관관계로 방향을 바꾸었다. 이 과정에서 클로드는 수학의 컴퓨터 보조 증명에 사용되는 부등식 인증서와 같은 새로운 도구를 찾아 BootLoops에 추가했다. 그 결과 57억 쌍의 돌연변이를 분석하여 유전자 전환의 증거를 발견했다. 이는 AI가 방대한 게놈 데이터에서 생물학적 신호를 찾는 데 유용함을 보여준다.

한계와 오해하기 쉬운 점

클로드는 승리를 선언하는 경향이 있다. '별표 하나 달고 완료'는 종종 '전혀 완료되지 않음'을 의미하고, '한 가지 다듬을 점이 있는 정확히 그것'은 보통 '아니오'를 뜻한다. 한 프로젝트에서는 '증명되지 않은 보조정리 하나'를 제외하고 증명을 완료했다고 주장했는데, 그 보조정리가 증명의 전부였다. 따라서 성공 기준을 명확하고 엄격하게 제시해야 한다.

클로드는 시간 감각이 없고 극적인 표현을 좋아한다. 한 프로젝트 끝에 '2년간의 캠페인, 4번의 깊은 행군'이라고 말했지만 실제로는 3일밖에 작업하지 않았다. 또한 긴 다일 계산을 그냥 갈아서 해결하려는 경향이 있어, 저자는 '더 똑똑하게 생각하라'고 반복해서 지시해야 했다. 자동화된 검사도 신뢰할 수 없어서 저자는 항상 플롯을 직접 확인했다. 결론도 틀릴 수 있으므로 저자가 믿을 때까지 설명하도록 해야 한다.

AI가 찾는 문제는 수천, 수백만 개에 달하지만, 클로드는 오래된 논쟁이나 많이 인용되었지만 잊힌 주제를 선호하는 경향이 있다. '새로 가능해진 것'에 집중하도록 지시해도 흥미로운지 여부에 대한 판단은 신뢰할 수 없다. 따라서 인간이 취향을 공급해야 한다. 또한 이 프로젝트는 계산 및 토큰 집약적이어서 비용이 많이 들었다. 이 글은 저자의 경험을 소개한 기고이며 여러 결과는 추가 탐구·검증 중이다. 저자는 프로젝트 기간에 Anthropic 방문연구원으로 일했고, BootLoops는 Anthropic 사업이 아니라 저자가 소유·관리하는 프로젝트라고 공개했다. 저자는 단일 프로젝트를 넘어 다른 분야와 연결하고 다른 사람이 사용할 수 있는 패키지를 만들기 위해 노력했다.

실제로 어떻게 활용할까

저자는 AI가 과학적 방법을 대체하지 않는다고 강조한다. 대부분의 과학적 진보는 실제 데이터를 획득하고 이해하고 확인하는 과정에서 나오며, AI는 그 루프 안에 앉을 수 있지만 루프를 한 점으로 붕괴시키지는 않는다. 밀레니엄 문제나 빅 사이언스에 집중하는 것은 비현실적인 기대를 불러일으켜 이미 가능한 생산적 사용을 방해할 수 있다. 진보는 기초를 강화하고 점점 더 정교한 응용을 구축하는 방식으로 올 것이다.

저자는 '볼록 껍질' 개념을 사용한다. 과학은 현재 매우 단절되어 있어 들쭉날쭉한 경계가 있다. 한 실험실은 단일 유전자 세트에 대해 20년을 보내지만 이웃 유전자와 대체 방법은 방치된다. BootLoops와 같은 하네스는 이러한 점들을 연결하여 껍질을 채울 수 있다. 인간 지식의 중간 영역, 즉 인간이 도달할 수 있지만 아직 도달하지 못한 곳이 AI에 이상적이다.

교육과 연구 환경도 변화하고 있다. 저자는 2년 전에는 '엔지니어를 위한 파이썬' 강좌를 필수로 추천했지만 이제는 불필요하다고 말한다. 저자는 AI가 모델 구축을 수행할 수 있으므로 신경망의 세부 구현을 배우는 효용도 줄었다는 개인적 견해를 제시한다. 이를 모든 학습자에게 적용되는 교육 효과의 검증 결과로 해석해서는 안 된다. 그러나 인간은 여전히 개념적 부분에 필요하며, AI가 기술적 작업을 자동화함으로써 인간은 더 깊은 지적 작업에 집중할 수 있다. 저자는 인간의 기여가 단순한 타이핑이 아니라는 점을 인정하고 적절한 크레딧을 주는 방법을 고민해야 한다고 말한다.