생활 속 일을 실제로 해내는 AI를 평가하는 LifeVal

배경과 문제

OpenAI는 매주 10억 명 이상이 ChatGPT를 사용하는 상황에서, 인공지능이 단순한 대화 상대를 넘어 실제로 일을 처리해 주는 개인 비서가 되어야 한다고 본다. 보육 시설 찾기, 정부 서비스 이용, 예산 짜기, 시험 준비, 요리법 수정, 장보기, 운동 계획 설계 같은 일상의 과제를 해결하려면 조언만 해서는 부족하고, 실제 행동을 취할 수 있어야 한다는 것이다.

이 글이 제기하는 문제는 학술적 지식 시험의 성적만으로 생활 속 도움을 설명하기 어렵다는 것이다. 이사 후 아이에게 맞는 유치원을 추리거나, 예산 안에서 할랄 식료품을 주문하고 내역을 표로 정리하는 일에는 정보 찾기와 조건 비교, 도구 사용이 함께 필요하다. 이는 모든 기존 평가가 이런 능력을 무시했다는 증명이라기보다, OpenAI가 생활 과제 평가를 추가한 취지로 읽어야 한다.

기존 접근의 한계

지식 질문에 맞는 답을 내놓는 능력과 여러 단계의 일을 마치는 능력은 구별할 필요가 있다. 공개 예시의 가족을 위한 집 찾기는 부동산 정보를 나열하는 데서 끝나지 않고 예산, 별도 생활 공간, 학교에 아이를 내려 준 뒤의 통근 조건을 함께 다룬다. 어떤 조건을 얼마나 충족했는지를 평가하려면 답변의 문장뿐 아니라 작업의 중간 과정과 최종 상태도 살펴봐야 한다는 해석이 가능하다.

OpenAI는 지난 1년 동안 LifeVal로 모델의 일상 작업 성능을 추적하고 개선을 유도했다고 설명한다. 같은 기간 브라우저 사용, 컴퓨터 사용, 커넥터를 통한 외부 앱 연동 능력을 훈련했다고도 한다. 다만 공개 글에는 LifeVal의 점수가 어떤 훈련 신호로 쓰였는지, 다른 개선 요인과 효과를 어떻게 구분했는지는 나오지 않는다. 평가를 사용했다는 사실을 특정 학습 알고리즘이나 효과의 인과 증명으로 넓혀서는 안 된다.

연구방법을 단계별로

LifeVal을 만들기 위해 연구진은 먼저 사람들이 시간을 어떻게 쓰는지 추적하는 두 개의 대규모 조사, 즉 미국 시간 사용 조사(American Time Use Survey)와 다국적 시간 사용 연구(Multinational Time Use Study)를 활용했다. 이 자료들은 다양한 인구통계, 시간대, 계절에 걸쳐 사람들이 하는 일상 과제의 상세한 목록을 제공한다.

다음으로, 기존 조사만으로는 AI 도움에 대한 수요를 알 수 없으므로 3,995명을 대상으로 인구통계학적으로 대표성 있는 새로운 설문 조사를 실시했다. 각 과제에 대해 사람들이 개인 비서로부터 가장 도움을 받고 싶어 하는 영역을 알아내기 위한 여러 질문을 던졌고, 그 결과 보육, 건강, 교육, 가계 행정, 개인 재정, 쇼핑, 정부 서비스 접근 등이 주요 영역으로 선정되었다.

이렇게 정해진 과제들로 평가를 구성한 뒤, 지난 1년 동안 모델 성능을 추적하고 개선을 이끄는 데 사용했다. 공개된 글에는 총 과제 수, 반복 횟수, 채점 기준, 실행 비용, 모델별 전체 집계는 설명되어 있지 않아 평가의 엄밀성은 확인할 수 없다.

결과와 숫자의 의미

공개된 다섯 과제 카드에서 유치원 선택·등록 준비에는 93.1%, 홍수 대비 자원봉사 관리에는 98.0%, 가족을 위한 주택 찾기에는 100%, 할머니와의 원격 경기 시청 설정에는 96.3%, 당뇨병 진단을 받은 부모의 식사 준비에는 90.4%가 표시된다. 이는 원문에 제시된 점수이며, 성공한 실행의 비율인지 세부 기준의 충족 정도인지 판단할 채점 설명은 확보한 본문에 없다.

기본 표에는 'GPT-6 Astra'의 최고 기록 점수가 6개 과제 모두 100%로 나와 있다. 예를 들어 유아의 필요와 가족 일정에 맞는 감각 수업 찾기 및 예약, 자동차 정비 시기 확인 및 여행 전 검사 예약, 할랄 식료품 주문 및 예산 내 스프레드시트 정리, 사진과 다이아몬드 보고서를 이용한 분실 반지 대체품 찾기, 휴대폰·전자책·휴대용 게임기를 대체할 주머니 크기 기기 찾기 및 주문, 이메일 목록 구독 취소 등이다.

최고 기록 표를 평균 성능이나 반복 실행의 성공 확률로 해석해서는 안 된다. 최고값을 고른 시도 수와 실행 조건이 공개되지 않았기 때문이다. 또한 3,995명은 도움 수요를 묻는 설문에 응답한 사람 수이지, 모델을 시험한 횟수나 벤치마크 과제 수가 아니다. 표본의 의미가 서로 다르므로 설문 규모가 곧 성능 평가의 신뢰도를 보장하지는 않는다.

구체적인 예시

유치원 카드에는 새 집 근처의 후보를 비교해 적합한 곳을 추려 달라는 요청과, 세 곳으로 좁혀 등록 정보를 정리했으나 두 가지 선호는 사용자가 결정해야 한다는 응답이 실려 있다. 원문이 소개하는 작업 예시로서, 후보를 정리하는 단계와 가족이 선택하는 단계를 구분해 이해하기 좋다. 다만 이 화면만으로 실제 등록 완료나 모든 실행의 재현성을 확인할 수는 없다.

주택 찾기 카드에서는 루체른 카운티의 예산·공간·통근 조건에 맞는 집을 찾고 등기 관련 문서를 장바구니에 넣어 검토하도록 요청한다. 제시된 응답은 집 한 채를 찾고 이전 세금을 계산했으며 문서를 검토용 장바구니에 담았다고 말한다. 이는 검색 이후의 거래 준비까지 평가하려는 예시이며, 집을 실제로 샀다거나 결제를 마쳤다는 뜻은 아니다. 원문의 기록 장바구니 표현을 국가 단위 등기 시스템이라고 단정할 근거도 없다.

한계와 오해하기 쉬운 점

이번 자료는 제공사의 평가 소개 글이다. 확보한 범위는 공개 웹 리더의 기사 본문과 최고 기록 표의 기본 6행이며, 펼침 목록의 나머지 행이나 평가 원데이터·전체 벤치마크는 확보하지 못했다. 독립 검증 결과를 제시하는 자료도 아니므로, 이 글만으로 외부 재현이나 모든 모델의 성능을 확인했다고 볼 수 없다.

총 과제 수, 반복 횟수, 채점 기준, 실행 비용과 전체 모델별 집계가 공개 본문에 없어 결과를 비교할 조건이 부족하다. 실제 활용에서는 웹사이트가 바뀌거나 개인 선호가 불분명한 상황을 따로 시험할 필요가 있다는 해석이 가능하다. 특히 건강이나 재정과 관련된 높은 과제 점수도 개별 조언의 정확성이나 안전성을 보증하는 별도의 검증을 대신하지 않는다.

실제로 어떻게 활용할까

LifeVal은 개인용 AI를 비교할 때 어떤 질문을 던질지 생각하는 출발점이 될 수 있다. 답변이 그럴듯한지에 더해, 필요한 정보를 찾았는지, 여러 조건을 빠뜨리지 않았는지, 사용자가 결정할 선택을 남겼는지를 함께 살펴보는 것이다. 이 기준은 원문의 작업 예시를 독자의 사용 상황에 적용한 해석이며, 공개되지 않은 평가 채점표를 복원한 것은 아니다.

예를 들어 설명을 위한 가상의 활용에서는 주말 가족 행사 장소 후보를 AI에게 정리하게 하고, 이동 거리와 비용 조건을 본인이 대조한 뒤 예약 여부를 결정할 수 있다. 정보 정리 단계와 비용이 발생하는 최종 행동을 나누면 어디에 사람의 확인이 필요한지 살펴보기 쉽다. 이 예시는 LifeVal의 실제 실험 항목이나 측정 결과가 아니라 이해를 돕는 적용 예다.