AI가 일을 잘해도 사람이 더 숙련되는 것은 아닐 수 있다

배경과 문제

전문직에서 시니어와 주니어를 가르는 핵심은 '판단력(judgment)'이다. 판단력은 수천 시간의 현장 학습, 즉 지루하지만 형성적인 일상 업무를 경험 많은 선배의 지도 아래 반복하면서 쌓인다. 그런데 생성형 AI가 등장하면서 이 학습 과정이 흔들리고 있다. AI를 훈련 과정에 잘 끼워 넣으면 경험이 적은 사람도 독립 수행 능력이 좋아진다는 연구가 있는 반면, AI가 일시적인 '외골격'처럼 당장의 성과만 높이고 도구를 치우면 그 효과가 사라진다는 실험 결과도 있다.

이 문제를 살펴보려면 AI를 몇 시간만 써보는 실험보다 긴 관찰, AI를 쓰지 않는 판단 과제, 배정 조건을 모르는 전문가의 평가를 함께 마련할 필요가 있다. 이 연구는 특허 실무에서 그 조합을 시도했다. 다만 무보조 평가를 사전·사후 두 번 실시한 것은 아니며, 마지막 평가에서 실제로 AI를 쓰지 않았는지 완전히 강제할 수도 없었다. 따라서 연구가 겨냥한 설계와 실제 확인한 범위를 구분해 읽어야 한다.

기존 접근의 한계

AI가 생산성에 미치는 영향은 이미 많은 연구가 있다. 경영 컨설턴트, 콜센터 직원, 프리랜서 등을 대상으로 한 실험에서 AI가 즉각적인 성과를 높이고, 경력이나 숙련도에 따른 성과 격차를 줄인다는 결과가 반복적으로 보고되었다. 하지만 이런 연구들은 대부분 'AI를 쓰는 동안'의 성과만 측정한다. AI가 노동자의 내재된 능력 자체를 키우는지, 아니면 단지 도구의 힘으로 성과를 부풀리는지는 알 수 없다.

논문의 문헌 검토는 서로 다른 학습 결과를 소개한다. 소프트웨어 도구나 새로운 분석 업무를 익히는 과정에서는 AI 보조 성과가 비보조 능력으로 이어지지 않은 사례가 있고, AI 출력을 해석·평가하는 훈련에서는 이득을 보고한 사례도 있다. 이것은 AI의 유무만큼 사용 방식이 중요할 수 있다는 문제 제기다. 아래의 특허 실험이 그 모든 선행 연구를 재현하거나, 특정 훈련법의 효과까지 직접 비교한 것은 아니다.

저자들이 강조하는 차이는 자기 전문 분야에서 일하는 현직 전문가를 수개월 관찰했다는 점이다. 학생·초보자 또는 낯선 일을 배우는 전문가의 실험만으로는 이 상황을 충분히 알기 어렵다. 이 연구는 AI 접근권을 가진 집단과 그렇지 않은 집단이 3개월 뒤 같은 비보조 과제를 얼마나 잘 수행하는지 비교했다. 개인별 사전 시험을 두지 않았으므로 각 사람이 사용 전보다 얼마나 달라졌는지는 직접 측정하지 않았다.

연구방법을 단계별로

Google과 정기적으로 거래하는 미국 지식재산권 로펌 24곳 중 11곳이 참여했고, 후보 156명 중 등록 절차를 마친 133명이 무작위 배정됐다. 목표 비율은 2:1이며 실제로 AI 접근군 90명, 대조군 43명이었다. 배정은 사무소와 사무소 내 경력의 중앙값을 기준으로 층화했다. 이후 결과를 나눠 보여줄 때의 주니어·시니어 기준은 경력 7년 미만·이상으로, 배정 단계의 기준과 구분해야 한다. AI 접근군은 당시 미출시 도구 InFlow와 전용 훈련을 제공받았다.

모든 참가자에게 선택형 AI 기초 교육을 제공하고, 접근군에는 도구 사용법·특허 프롬프트·주의사항을 추가로 제공했다. 10일 시점에는 가상 발명 자료로 종속 청구항과 상세 설명을 작성했고, 90일 시점에는 다른 발명으로 더 어려운 작성 과제와 결함 있는 문서를 직접 고치는 레드라이닝 과제를 수행했다. 작성에서는 접근군의 AI 활용을 권장했고 교정에서는 모두에게 AI 금지를 지시했다. 세 과제 완료자는 각각 105명·98명·91명이므로, 세 시점의 결과를 같은 133명이 빠짐없이 낸 점수로 읽으면 안 된다.

주요 결과는 별도 로펌의 독립 전문가가 배정 조건을 모른 채 채점한 것이다. 집행 가능성, 정확성, 전략적 모호성, 완전성, 명확성의 다섯 차원을 평가했다. 개인별 점수가 여러 평가자·세부 기준으로 나뉘어 회귀표에 들어가므로 표의 관측 행 수는 참가자 수와 다르다. 분석은 실제 사용량에 따라 집단을 다시 나누지 않고 원래 접근권 배정에 따라 비교한다. 따라서 추정 대상은 도구·훈련에 접근할 기회를 제공한 효과이며, AI를 한 시간 더 썼을 때의 효과는 아니다.

결과와 숫자의 의미

전문가 평가를 분석하는 주 통계 모형에서 AI 접근군의 작성 품질은 10일에 0.34 SD(p=0.03), 90일에 0.38 SD(p=0.01) 높았다. SD는 대조군 점수의 퍼짐을 기준으로 한 단위이므로 34%나 38% 개선을 뜻하지 않는다. 블로그는 이 연구의 대조군 점수 분포에서 약 10~11백분위점 상승에 해당한다고 설명한다. 주니어의 추정 효과는 0.58·0.60 SD, 시니어는 0.22·0.30 SD였다. 다섯 품질 차원의 추정 방향은 일관되지만 모든 세부 효과가 각각 통계적으로 확실한 것은 아니다.

작성 점수의 분포도 살펴볼 만하다. 원논문 표 5에서는 10일 과제의 주니어 하위 20% 점수 비중이 약 25%포인트 줄고 상위 20% 비중이 약 21%포인트 늘었다. 이 시점의 주니어 집단에서는 점수 분포가 높은 쪽으로 이동한 셈이다. 블로그의 「좋지 않은 결과를 줄인다」는 전체 설명과 함께, 원논문의 하위 집단·시점별 결과를 구분해서 읽어야 한다.

AI 금지를 지시한 90일 교정 과제에서는 전체 효과가 0.32 SD(p=0.04), 시니어가 0.45 SD(p=0.02)였고, 주니어는 -0.03 SD(p=0.89)로 평균 차이가 뚜렷하지 않았다. 주니어는 낮은 점수와 좋은 점수의 비중이 함께 늘고 중하위 점수 비중은 줄어드는 패턴을 보였다. 다만 사전 개인별 실력 시험이 없으므로, 특정 사람이 얼마나 배우거나 퇴보했는지 확인한 것은 아니다. 학습에 서로 다른 효과가 있을 수 있다는 해석과 직접 관측한 집단 간 점수 차이를 구분해야 한다.

구체적인 예시

논문의 LLM 보조 정성 분석은 시니어 접근군이 문서의 작은 표현보다 권리 범위를 좌우하는 구조를 더 많이 고쳤다고 설명한다. 기존 문단을 크게 다시 쓰고, 권리 범위를 불필요하게 좁힐 수 있는 표현을 지우며, 수정 이유를 법적 원리와 연결하는 식이다. 이는 제출물에 나타난 편집 행동을 이해하는 보조 자료다. 사전 등록된 행동 빈도 시험이나 실제 법정에서 특허의 효력을 검증한 결과는 아니다.

반면 주니어 제출물에서는 문서 앞부분의 표현을 순서대로 고치다 중요한 청구항에 충분한 시간을 쓰지 못하거나, 문제를 지적하는 주석만 남기고 실제 수정을 마치지 않는 패턴이 관찰됐다. 이 패턴은 대조군 주니어에게도 있었으므로 AI가 새로 만들어 낸 습관이라고 단정할 수 없다. 연구는 AI 접근권을 제공한 것만으로 이런 기존 수행상의 어려움이 해결됐다는 증거도 찾지 못했다.

사후 인터뷰는 접근군 네 명, 즉 주니어 두 명과 시니어 두 명에게 실시했다. 시니어의 「논리 감사관」이라는 표현은 AI 초안을 그대로 받기보다 논리적 빈틈을 검토하는 사용법을 보여준다. 주니어들은 빈 화면에서 처음 문장을 만드는 부담이 줄었다고 말했다. 이런 소수의 경험담은 가능한 작동 원리를 떠올리게 하지만, 비판적 검토가 시니어의 향상을 일으킨 원인이라고 실험으로 입증한 것은 아니다.

한계와 오해하기 쉬운 점

이 연구는 동료 심사 전 NBER 워킹페이퍼다. Google이 직접 실험비를 지원했고 여러 저자가 고용·지분 등 관계를 공개했으며, 주요 점수는 독립 전문가가 블라인드로 평가했다. 표본도 Google과 거래하는 특허 로펌에 한정된다. 무작위 배정 133명 중 최종 교정 과제를 마친 91명의 결과이므로 이탈 가능성을 살펴야 한다. 논문은 처치 여부에 따른 이탈 차이가 뚜렷하지 않았다고 보고하지만, 3개월 관찰을 수년간의 전문성 발달과 같게 볼 수는 없다.

연구진은 무작위 배정 전 기초 실력 평가를 하지 못했다. 파트너 로펌들이 거부했기 때문이다. 따라서 레드라이닝 점수 차이를 '학습 효과'로 해석하는 것은 무작위 배정이 실력 차이를 균등하게 만들었다는 가정에 의존한다. 다만 사전 특성(경력 연수, 응답 속도, 자기 효능감)에서 처치군과 대조군 간 유의미한 차이가 없음을 확인했다.

비보조 과제에서 AI 금지를 직접 강제할 수 없었다는 점이 중요하다. 연구진은 LLM 분석과 수작업 검토로 91개 제출물 중 15개를 사용 의심 사례로 표시했는데, 실제 사용이 확정된 사례는 아니다. 이를 변수로 통제하면 시니어 효과가 0.44 SD(p=0.02)로 비슷하지만, 의심 사례를 제외하면 전체는 0.25 SD(p=0.14), 시니어는 0.39 SD(p=0.06)가 된다. 후자의 경우 방향은 양수여도 보통 쓰는 5% 유의 기준을 넘지 못한다. 의심 사례의 처리 방식에 따라 통계적 판단이 달라진다는 불확실성을 함께 고려해야 한다.

실제로 어떻게 활용할까

실무적으로는 AI를 도입한 뒤 결과물의 품질과 직원의 독립 수행 능력을 따로 확인할 필요가 있다는 해석이 나온다. 예를 들어 초안을 빨리 완성하는지에 더해, 도구 없이 문제점을 찾고 직접 고칠 수 있는지 점검하는 방식이다. 다만 이 연구가 어느 훈련 프로그램이 효과적인지 비교한 것은 아니므로, 특정 교육법을 검증된 해법이라고 받아들이기보다 후속 실험의 출발점으로 삼는 편이 적절하다.

이해를 위한 가상 훈련 예로, AI가 만든 초안을 받은 뒤 참가자가 중요한 결함을 찾고 수정 이유까지 설명하게 할 수 있다. 원논문의 레드라이닝 과제를 학습 상황에 응용하는 아이디어다. 그러나 이번 실험에서 레드라이닝은 마지막 평가였으므로, 이 훈련을 반복하면 실제 전문성이 높아진다는 효과까지 확인한 것은 아니다. 검증하려면 훈련 방식을 무작위로 나누고 사전·사후의 비보조 실력을 함께 측정해야 한다.

성과 평가에서도 AI와 함께 만든 높은 점수만으로 개인의 실력을 판단하면 놓치는 부분이 생긴다. 같은 사람이 도구와 함께 수행한 결과와 도구 없이 수행한 판단을 시간에 따라 함께 보면, 업무 개선과 기술 축적이 어느 정도 연결되는지 살펴볼 수 있다. 원논문도 더 긴 추적과 반복적인 비보조 평가, 업무 방식·투입 시간을 직접 바꾸는 후속 연구를 제안한다. 핵심은 AI를 끄는 자체가 교육법이라는 주장이 아니라 무엇을 배웠는지 구분해서 측정하자는 것이다.