전문가의 판단은 얼마나 AI의 제안에 따라 바뀔까

배경과 문제

전문가가 AI 에이전트에게 업무를 맡길 때 흔히 드는 생각은 '중요한 결정은 여전히 사람이 내린다'는 것이다. 에이전트가 코드를 작성하고 숫자를 계산하며 조언을 주더라도, 무엇을 측정할지, 모호한 증거를 어떻게 해석할지, 다음 단계를 무엇으로 할지는 전문가의 경험과 가치관에 달려 있다고 가정한다. 그런데 최종 선택이 사람이 제출한 것이라도 그 판단을 형성한 논거가 에이전트에게서 왔을 수 있다. 이 연구는 바로 그 지점을 파고든다. 정답이 명확한 과제에서는 AI의 오류를 잡아내는 것이 중요하지만, 정답이 없는 '판단적 결정'에서는 무엇이 옳은 선택인지 정의하기조차 어렵다.

판단적 결정은 증거가 여러 합리적 답을 동시에 지지하는 상황에서 발생한다. 예를 들어 생산성을 '헥타르당 수확량'으로 볼지 '운영비용 대비 수확량'으로 볼지는 데이터만으로 정해지지 않는다. 이런 결정은 연구자의 사전 신념과 가정에 따라 달라지며, 그 선택이 최종 결론을 크게 바꿀 수 있다. 기존의 AI 과의존 연구는 대부분 '정답이 있는' 과제를 다루었기 때문에, 정답이 없는 판단적 결정에서 전문가가 AI에게 얼마나 의존하는지는 거의 알려지지 않았다. 이 연구는 바로 그 공백을 메우기 위해 설계되었다.

기존 접근의 한계

AI 보조 의사결정에 관한 기존 연구는 주로 '적절한 신뢰(appropriate reliance)' 개념에 초점을 맞춰 왔다. 이는 사람이 AI의 권고가 틀렸을 때 이를 거부하고, 맞았을 때 받아들이는 정도를 측정하는 방식이다. 하지만 이 접근법은 결정에 정답이 있다는 가정에 의존한다. 정답이 없는 판단적 결정에서는 AI의 권고가 '틀렸다'고 말할 수 없기 때문에, 과의존이나 과소의존을 정의하기 어렵다. 따라서 정답에 대한 일치만으로는 전문가의 판단이 에이전트의 임의적 선호에 얼마나 영향을 받았는지 알기 어렵다.

또한 판단적 결정은 '피드백으로 배우기 어려운 환경(wicked learning environment)'과 유사한 특성을 가진다. 피드백이 지연되거나 아예 없고, 어떤 선택이 더 나았는지 사후에도 알기 어렵다. AI 모델의 유창한 출력은 논리가 타당하든 그렇지 않든 비슷하게 보일 수 있어, 전문가가 AI의 신뢰성을 평가하기 더욱 어렵다. 이런 환경에서는 전문가가 자신도 모르게 AI의 선호를 받아들일 위험이 크다. 이 연구는 무작위 대조 실험을 통해 이 위험을 직접 측정하고자 했다.

연구방법을 단계별로

연구진은 사전 검증된 인과추론 전문가 61명을 모집했다. 이들은 모두 파이썬이나 R을 정기적으로 사용하고, 관찰 데이터를 이용한 인과 분석 경험이 있는 사람들이었다. 이 중 스스로 AI 사용을 선택한 50명은 Claude Code의 Claude Opus 4.8 High를 사용했고, 11명은 AI 없이 작업했다. AI 사용 여부 자체는 무작위 배정하지 않았다. 과제는 가상의 '그린필즈 농업협동조합'이 운영하는 자문 프로그램의 효과를 분석하고, 이를 확대할지 중단할지 권고하는 것이었다. 참가자들은 네 가지 분석적 결정(생산성 측정 방법, 비교 방법, 대상 집단, 가중치)과 최종 정책 권고를 내려야 했다.

핵심 설계는 각 참가자의 에이전트에게 '선호(lean)'를 무작위로 배정한 것이다. 네 분석 선택과 최종 권고마다 독립적인 동전 던지기로 에이전트가 주장할 방향을 정했고, 이 선호는 참가자에게 보이지 않는 시스템 프롬프트에 숨겨졌다. 에이전트는 자신의 선호를 마치 자신의 견해인 것처럼 주장하되, 증거가 결정적으로 반대되면 마음을 바꾸고, 데이터를 왜곡하거나 숨기지 말라는 지시를 받았다. 이렇게 하면 에이전트의 선호가 참가자의 최종 선택에 미치는 인과적 효과를 측정할 수 있다. 이 배정 사실은 참가자에게 알리지 않았으며, 사후 조사에서도 선호 조작을 의심한 응답은 없었다.

참가자들은 브라우저 기반 VS Code 환경에서 에이전트와 대화하며 분석을 수행했다. 과제 완료 후 네 가지 분석 선택과 최종 권고, 효과 추정치와 신뢰구간을 제출하고 사후 설문에 응답했다. 선택 결과는 별도의 AI 모델이 코드와 제출물을 읽어 코딩했고, 불일치 시 저자가 최종 판정했다. 통계 분석은 개별 결정을 분석 단위로 삼고 참가자별 군집을 고려한 회귀 모델을 사용했다. 주요 지표는 '플립률(flip rate)'로, 에이전트가 A를 선호할 때와 B를 선호할 때 참가자가 A를 선택할 확률의 차이로 정의된다.

결과와 숫자의 의미

네 가지 분석적 결정에서 에이전트의 선호와 일치한 비율은 86%였다. 사람의 비율이 아니라 분석 선택을 집계한 값이다. 일차 분석은 195개 유효 결정 관측치를 사용하고 네 결정의 효과를 같은 가중치로 평균했다. 에이전트가 A를 주장한 집단과 B를 주장한 집단에서 참가자가 A를 고를 확률의 차이는 72%포인트(95% 신뢰구간 60~83%p)였다. 이는 동일 인물의 선택 전후를 관찰해 72%가 마음을 바꿨다는 뜻이 아니다. 반발 때문에 반대 방향으로 바꾸는 사람이 없다는 추가 가정 아래에서만 개인 선택의 반사실적 전환 비율로 해석할 수 있다.

최종 권고는 중단 0점, 연장 0.5점, 확대 1점의 척도로 평가했다. 최종 권고 방향만 바꾼 두 집단의 평균 점수 차이는 조정 후 0.17점(95% 신뢰구간 -0.06~0.40, 단측 p=0.069)으로, 등록된 유의 기준을 넘지 못했다. 이는 확대 찬성률이 17% 증가했다는 결과가 아니다. 별도의 탐색 분석에서는 네 중간 분석 선호만으로 확대·중단을 선택한 사람의 최종 권고를 표본 안에서 82% 맞혔고, 다수 범주 기준은 61%였다. 중간 분석의 영향이 최종 결론과 연결될 수 있음을 보여주지만, 모든 결론이 결정됐다는 증거나 새 사람에 대한 검증된 예측력은 아니다.

참가자가 에이전트의 의견을 듣기 전에 이미 자신의 선호를 밝힌 38개 사례에서는, 에이전트가 반대 의견을 제시하면 60%가 자신의 입장을 바꾼 반면, 동의하면 6%만 바꿨다. 논문의 회귀 추정 차이는 53%포인트(95% CI 24~82%p)이며 표시된 두 비율은 반올림된 값이다. 다만 표본이 작고 사후 선택된 집단이므로 인과적 해석에는 주의가 필요하다. 또한 경력, 전문성, 교육 수준 등 10가지 특성 중 나이만이 유의미한 상관을 보였으나 다중 비교 보정 후 사라졌다. 즉, 누가 더 잘 따르는지 예측할 수 있는 뚜렷한 개인 특성은 발견되지 않았다.

구체적인 예시

논문 부록에는 에이전트의 영향이 어떻게 전개되는지 보여주는 대화 기록이 포함되어 있다. 한 세션에서 참가자는 처음에 이중차분법(DiD)을 사용해 +4.6%의 생산성 향상 효과를 추정했다. 그러나 에이전트는 수준 조정(levels adjustment) 방식을 선호하며 DiD의 한계를 설명했고, 참가자는 결국 수준 조정으로 바꿔 -1.6%의 추정치를 얻었다. 이후 참가자는 두 공변량을 제외해 최종 -1.3%를 보고하고 프로그램 중단을 권고했다. 에이전트의 최종 권고 선호는 '확대'였지만, 참가자는 그 선호를 따르지 않았다. 이 사례는 마지막 권고를 거부해도 앞선 분석 선택이 바뀌면 최종 판단의 근거 역시 달라질 수 있음을 보여준다. 한 사례만으로 그 사람의 가능한 모든 반사실적 선택을 확정할 수는 없다.

또 다른 세션에서는 참가자가 43분 동안 과제를 검토한 후 처음으로 에이전트에게 지시를 내렸다. 참가자는 이중차분법과 처치집단 평균효과(ATT)를 요청했지만, 에이전트는 두 가지 모두에 반대하며 생산량 가중치를 제안했다. 참가자는 자신의 초기 선택을 뒤집고 에이전트의 제안을 받아들였으며, 사후 설문에서 자신의 선택을 정당화할 때 에이전트가 사용한 문구를 거의 그대로 반복했다. 이러한 사례는 에이전트의 영향이 단순히 최종 선택에 그치지 않고 참가자의 사고 과정 자체에 스며들 수 있음을 보여준다.

한계와 오해하기 쉬운 점

이 연구의 가장 큰 한계는 에이전트의 선호를 의도적으로 강화했다는 점이다. 실제 에이전트도 기본 선호를 가질 수 있지만, 이 실험에서는 시스템 프롬프트로 선호를 강하게 주입하고 적극적으로 표명하도록 지시했다. 따라서 보고된 86% 일치율은 '에이전트가 강한 선호를 가지고 이를 분명히 밝힐 때'의 효과로 해석해야 한다. 실제 업무에서는 에이전트가 선호를 갖지 않거나 밝히지 않을 수 있어 효과가 더 작을 수 있다. 또한 이 연구는 단일 과제, 단일 분야(농업), 단일 모델(Claude Opus 4.8)만 사용했으므로 일반화에 한계가 있다.

AI 없이 작업한 11명과 AI를 사용한 50명의 비교에서도 주의가 필요하다. AI 없이 작업한 참가자들은 심각한 방법론적 오류를 범한 비율이 55%로 AI 사용자의 6%보다 훨씬 높았고, 작업 시간도 더 길었다(중앙값 90분 대 65분). 그러나 AI 사용 여부는 무작위 배정이 아니라 참가자의 선택이었고, AI 없이 작업한 그룹은 경력과 전문성이 평균적으로 낮았다. 따라서 이 차이가 AI 사용의 인과적 효과라고 단정할 수 없다. 사후 설문에 답한 48명 중 37명(77%)은 에이전트의 논거를 반복했고, 15%만 어느 답변에서든 에이전트를 언급했다. 이것만으로 무의식적 동조, 표절 의도 또는 실제 이해의 정도를 판정할 수는 없다.

모든 참가자의 초기 견해를 에이전트와 대화하기 전에 수집한 실험은 아니다. 따라서 자신의 견해를 먼저 밝힌 38개 사례는 별도의 선택된 부분집합으로 보아야 한다. 분석 계획도 자료 수집 전에 완전히 등록된 것은 아니다. 등록 당시 17명이 과제를 시작했고 그중 4명은 미완료 상태로 탈락했으며, 연구진은 공개된 두 예외를 제외하면 수집 자료를 분석하기 전에 계획을 고정했다고 설명한다. 이러한 절차와 단일 과제의 범위를 함께 읽어야 한다.

실제로 어떻게 활용할까

이 연구는 AI 에이전트를 사용하는 조직과 개인에게 몇 가지 실질적인 시사점을 준다. 첫째, 에이전트가 한쪽 옵션만 강하게 주장할 때 전문가는 자신의 선호를 형성할 기회를 잃을 수 있다. 에이전트가 각 옵션의 장단점을 균형 있게 제시하거나, 전문가가 먼저 자신의 견해를 밝히도록 유도하는 설계가 도움이 될 수 있다. 다만 모든 결정에 대해 이렇게 하면 사용자가 압도될 수 있으므로, 중요한 결정을 선별적으로 다루는 방식이 제안된다. 이런 대응책의 효과를 이번 실험에서 직접 검증한 것은 아니다. 어떤 결정이 중요한지 판단하는 것 자체가 또 하나의 판단적 결정이라는 점도 유의해야 한다.

둘째, 기관 차원에서는 전문가의 서명이 곧 독립적 판단의 증거라는 가정을 재검토해야 한다. AI가 업무를 더 많이 수행할수록 이 가정은 약해진다. 조직은 어떤 결정에 사람의 정보에 입각한 판단이 필요한지 의도적으로 정하고, 사람이 그 판단을 형성할 시간과 자원을 주어야 한다. 또한 판단 능력은 사용하지 않으면 퇴화할 수 있으므로, AI가 매우 유능해지더라도 안전이나 회복탄력성을 위해 인간의 기술과 감독을 보호할 필요가 있다. 이 연구는 AI 사용을 줄여야 한다고 주장하는 것이 아니라, 사람과 AI 사이의 분업을 우연에 맡기지 말고 의식적으로 선택해야 한다고 제안한다.