보고서난이도 보통Google Research · Earth AI · 10월 14일(수) 공개

Earth AI: 지도 질문에 답하려면 전문 도구와 계획이 얼마나 필요할까?

지리공간 전문 도구가 대부분의 성능 향상을 만들었고, 사전 계획의 추가 이득은 일부 모델의 복잡한 문제에 집중됐으며 실제 정답 보장과는 다릅니다.

쉽게 말하면비유하자면 지도 문제를 기억만으로 답하는 사람과 위성 자료·인구 통계·계산기를 직접 열어 푸는 사람을 같은 시험지로 비교한 셈이다. 전문 도구를 손에 쥔 쪽의 점수가 크게 올랐다.

왜 봐야 하나: 에이전트 성능의 큰 부분이 전문 도구를 붙인 데서 왔다는 점을 보여준다. 도구를 더할 때와 계획을 미리 세우게 할 때의 효과가 다르므로, 구성을 나눠 따로 측정해 볼 만하다.

이 글은 구글 어스 AI의 지리공간 추론 에이전트(GRA)가 복잡한 지구과학 문제를 어떻게 해결하는지, 그리고 그 성능을 체계적으로 평가한 기술보고서와 공식 블로그를 소개한다. 핵심은 범용 LLM만으로는 지리공간 분석이 어렵다는 점을 보이고, 도메인 특화 도구와 사전 계획을 결합한 GRA가 개방형 문제에서 큰 성능 향상을 이룬다는 것이다. 평가는 네 가지 벤치마크에서 네 가지 시스템 구성을 비교하며, 특히 새로 개발한 GeoExpertQueries와 GeoKTools를 공개한다. 결과적으로 GRA는 전문가 워크플로우의 상당 부분을 수행할 수 있지만, 최종 답이 아닌 전문가 검토용 초안으로 보아야 한다는 한계도 명확히 한다.

알아낸 것

개방형 76문제에서 단독 LLM은 0.0점, 기본 도구는 3.3점, 전문 도구만 쓰면 52.2점, 전체 시스템은 62.7점이었다(Gemini 3.8 Flash 기준).
사전 계획의 이득은 일관되지 않았다. Gemini 3.1 Pro는 도구만 쓴 50.8에서 전체 47.6으로 내려갔고, GeoKTools는 86.0에서 85.9로 거의 같았다.
62.7점은 현장 정답률이 아니다. 자동 채점기가 에이전트의 작업 과정을 전문가 절차와 견준 점수이며, 출력은 전문가가 손볼 초안으로 봐야 한다.

한계와 주의할 점

62.7점은 현장 정답률이 아니다. 자동 채점기가 작업 과정을 전문가 절차와 견준 값이며, 출력은 전문가가 손볼 초안이다.
사전 계획의 이득은 일관되지 않았다. Gemini 3.1 Pro에서는 50.8에서 47.6으로 내려갔고, 계획만의 효과를 따로 떼어 본 실험도 없다.
한 벤치마크는 이 시스템이 지원하는 도구 중심으로 만들어져 도구를 가진 쪽에 유리하다. 비용 수치에는 외부 데이터·계산 비용이 빠졌다.

용어 풀이

지리공간 추론 에이전트(GRA): 자연어 질문을 받아 지리공간 도구와 데이터를 자동으로 조합해 분석을 수행하는 시스템. 이 연구에서는 Gemini 모델에 지구 AI의 도메인 특화 스킬과 사전 계획을 결합한 구성을 가리킨다.
모듈형 스킬: 도메인 도구와 사용 지침을 묶은 패키지. 에이전트는 질문에 필요할 때만 스킬을 로드해 컨텍스트를 절약하고, 새 능력을 추가해도 기존 능력 사용이 어려워지지 않게 한다.
사전 계획(upfront planning): 도구를 호출하기 전에 에이전트가 사용 가능한 능력과 한계를 추론해 검색·처리 단계를 미리 세우는 단계. 실행 중 도구 출력에 따라 계획을 조정하되, 초기 도구 선택이 전체 궤적을 좌우하는 문제를 줄인다.
GeoExpertQueries: 실무자 사용 사례에서 도출하고 전문가가 다듬은 101개 개방형 문제(시험 76개)로 구성된 벤치마크. 각 문제는 세 명의 독립적 전문가 워크플로우를 합의한 '골든 워크플로우'와 비교되어 자동 채점된다.
GeoKTools: 결정적 정답이 있는 템플릿 질의 305개(시험 220개)로 구성된 벤치마크. 필요한 도구 유형 수(K=1~4)를 체계적으로 변화시켜 다중 도구 오케스트레이션 능력을 측정한다.
자동 채점기(autorater): LLM을 심판으로 사용해 에이전트 출력을 평가하는 시스템. GeoExpertQueries에서는 실행 궤적의 분석적 가치를 내부적으로 0~2점으로 평가한 뒤 0·0.5·1로 환산하고 반복 평균을 낸다. 표에서는 이를 0~100 척도로 보고한다. GeoKTools에서는 정답과의 차이를 도메인 단위로 평가해 0~1점을 부여한다.
스크래치 데이터셋: 대규모 공간 데이터를 모델 컨텍스트 창 밖의 외부 작업공간에 유지하고 도구 간에 참조로 전달하는 방식. 위성 래스터나 경계 폴리곤을 컨텍스트에 넣지 않아 토큰 사용을 줄인다.
CBGB: Cloud-Based Geospatial Benchmark의 약자. 지구 엔진 코드 생성용으로 개발된 45개 전문가 큐레이션 질문(수정본 44개)으로, 결정적 수치 답을 요구한다. 이 연구에서는 코드 작성 지시 없이 문제로 제시한다.

더 깊이 읽기 읽는 데 약 9분

배경과 문제

지구과학 문제는 위성 영상, 인구 통계, 기상 예보, 환경 데이터 등 서로 다른 형식의 대규모 데이터를 결합해야 풀 수 있다. 예를 들어 홍수 위험 평가는 공식 홍수 지도와 고해상도 시뮬레이션 중 어느 것을 쓰는지에 따라 결과가 달라질 수 있고, 데이터를 어디서 찾는지도 문제의 일부다. 기존에는 이런 분석에 깊은 도메인 지식과 수작업 데이터 통합이 필요했다. 대규모 언어 모델(LLM)이 등장하면서 자연어 질문을 받아 도구를 자동으로 조합하는 '지리공간 추론 에이전트'가 가능해졌지만, 실제 지구 데이터는 페타바이트 규모이고 지도·위성 형식이 특수해서 범용 LLM과 표준 코딩 도구로는 정확히 다루기 어렵다.

평가 자체도 어렵다. 복잡한 지리공간 문제는 정답이 하나가 아니고, 같은 결과에 도달하는 여러 타당한 워크플로우가 존재한다. 질문에는 필요한 데이터가 포함되지 않아 에이전트가 대규모 카탈로그에서 스스로 찾아야 하며, 위성 아카이브가 재처리되거나 행정 경계가 바뀌는 등 지상 진실이 시간에 따라 변한다. 기존 벤치마크는 도구 세트와 데이터 카탈로그를 미리 고정해 정답 하나와 참조 워크플로우 하나만 요구하는 방식으로 문제를 단순화했지만, 이는 실제 분석의 개방성을 제거하고 특정 도구에 결론을 묶는다. 이 연구는 이런 한계를 넘어 도구에 구애받지 않는 평가를 시도한다.

기존 접근의 한계

범용 LLM은 사전 학습으로 많은 지리·인구 지식을 갖고 있어 일부 질문에는 도구 없이도 근사 답을 낼 수 있다. 그러나 GeoExpertQueries 같은 개방형 문제에서는 단독 LLM이 0점을 받는다. 채점 규칙은 실제 자료 조회·계산으로 수행한 분석에 점수를 주므로 기억만으로 한 답은 인정하지 않기 때문이다. 웹 검색이나 간단한 계산으로 일부 단계를 수행하면 부분 점수는 가능하다. 기본 도구(웹 검색, 지도 그라운딩, 코드 실행)를 추가해도 점수는 3.3에 그친다. 코드 실행 환경은 인터넷이 차단되어 있어 외부 API 호출이 실패하고, 모델이 검색을 반복하다 예산을 소진하는 문제도 있다.

기존 지리공간 에이전트 연구는 대부분 전체 시스템과 단독 LLM만 비교하거나, 도구 세트를 고정한 채 백본 모델만 바꾸었다. 연구진은 자신들이 아는 범위에서는 도구 계층 자체를 바꿔 기여도를 분리한 선행 연구가 없었다고 설명한다. 또한 상용 플랫폼들은 평가 결과를 공개하지 않아 체계적 비교가 불가능했다. 이 연구는 같은 Gemini 모델에 기본 도구, GRA 도구, 사전 계획을 단계적으로 추가한 네 가지 구성을 비교함으로써 도메인 도구와 오케스트레이션의 가치를 분리 측정한다.

연구방법을 단계별로

GRA는 두 가지 설계 선택으로 광범위한 도구를 관리한다. 첫째, 능력을 모듈형 스킬로 패키징한다. 각 스킬은 도메인 도구와 사용 지침을 묶고, 에이전트는 질문에 필요할 때만 스킬을 로드한다. 대규모 공간 데이터는 컨텍스트 창 밖의 스크래치 데이터셋으로 유지되고 도구 간에 참조로 전달된다. 둘째, 모든 질문을 사전 계획 단계로 시작한다. 에이전트는 사용 가능한 능력과 한계를 추론해 데이터 검색·처리 단계를 미리 세우고, 실행 중 도구 출력에 따라 계획을 조정한다. 전용 데이터 소스가 있을 때 웹 검색으로 빠지지 말 것, 같은 데이터 요청에 세 번 넘게 실패하면 더 진행할 수 없는 경로로 볼 것, 이상적 데이터가 없으면 가장 방어 가능한 대체재를 쓰고 문서화할 것 같은 행동 지침도 포함된다.

평가를 위해 네 가지 구성을 비교한다. (1) 단독 LLM: 파라메트릭 지식만 사용. (2) LLM+기본 도구: 구글 검색, 구글 지도, 네트워크 없는 파이썬 샌드박스. (3) LLM+GRA 도구: GRA의 전체 스킬·도구를 반응형 루프에서 사용하되 사전 계획 없음. (4) GRA: 사전 계획과 실행 지침까지 포함한 전체 시스템. 모든 구성은 Gemini 3.1 Pro와 Gemini 3.8 Flash 두 모델에서 실행된다. 각 질문은 세 번 반복되고, 실행당 LLM 호출 100회·30분 상한이 적용된다. '최선 노력' 모드를 요청해 자료가 없으면 바로 포기하는 대신 대체 자료로 가능한 분석을 하도록 유도한다. 실행 상한 초과나 에이전트 실패는 0점으로 분모에 남긴다.

결과와 숫자의 의미

GeoExpertQueries(개방형 워크플로우, 시험 76문제)에서 단독 LLM은 0.0, 기본 도구는 3.3, GRA 도구만 52.2, 전체 GRA는 62.7점을 기록했다(Gemini 3.8 Flash 기준). GRA 도구가 가장 큰 상승을 만들고, 사전 계획과 실행 지침을 함께 더한 계층에서 10.5점이 추가된다. 계획만의 독립 효과를 분리한 실험은 아니다. 그러나 Gemini 3.1 Pro에서는 GRA 도구 50.8에서 전체 GRA 47.6으로 오히려 낮아진다. 연구진은 Pro가 계획·운영 규칙을 더 엄격히 따르면서 전문가 절차에 필요한 유연한 대응을 놓쳤을 가능성을 실행 기록에서 추정한다. 이 설명을 별도 인과 실험으로 확정한 것은 아니다. GeoKTools(다중 도구 체인, 220문제)에서는 단독 LLM 40.5, GRA 85.9로 도구의 이점이 크지만 사전 계획의 일관된 개선은 없다. CBGB(지구 엔진 코딩, 44문제)에서도 GRA 도구 87.9, 전체 GRA 86.4로 비슷하다.

UnivEARTH(NASA 기사 질의응답, 140문제)는 예외다. 단독 LLM이 93.6점을 받아 벤치마크가 포화되었음을 보여준다. 질문이 공개된 NASA 지구 관측소 기사에서 파생되어 모델이 답을 기억하거나 검색할 수 있기 때문이다. 비용 측면에서 GeoExpertQueries의 질문당 추론 비용은 GRA의 Gemini 3.8 Flash 구성이 0.199달러로 같은 GRA의 Gemini 3.1 Pro 구성 0.688달러보다 71% 저렴하면서 점수는 15.1점 높다. 이 비용은 LLM 토큰 추론만 포함하며 Earth Engine·외부 데이터·계산 비용은 제외된다. 세 번 반복의 표준편차는 실행 간 변동을 나타내며 문제별 신뢰구간이 아니다.

구체적인 예시

GeoExpertQueries의 예시 질문 중 하나는 2022년 파키스탄 홍수 피해 지역에서 SAR 간섭계(InSAR) 결맞음 변화 탐지를 사용해 구조적 손상을 추정하고, 침수 지역과 파괴된 잔해를 구분한 뒤 빈곤 지도와 겹쳐 재건 보조금 우선순위를 정하라는 것이다. 레이더 위성은 구름을 통과해 홍수 전후 지표면을 비교할 수 있고, 매끄러운 수면은 레이더 신호를 센서 반대쪽으로 반사해 되돌아오는 신호가 약해지고, 무너진 건물 잔해는 거친 반사와 전후 결맞음 저하를 보일 수 있다. 전문가 워크플로우는 레이더 이미지 정렬, 물과 잔해 분리, 빈곤·인구 밀도와 결합한 필요 순위 산정으로 구성된다.

또 다른 예는 시에라리온의 응급 산부인과 접근성을 평가하는 문제다. 직선 거리 대신 Dynamic World 토지 피복 마찰 표면 위에서 이동 시간을 계산한다. 도로에서는 차량 속도, 숲·들판에서는 도보 속도를 적용하고 가파른 경사에서는 속도를 늦추며 강은 다리·나루터에서만 건널 수 있게 한다. 100m×100m 격자마다 가장 가까운 분만 시설까지 최소 이동 시간을 구하고, WHO의 2시간 기준을 적용해 가임기 여성 인구를 겹쳐 지역별 접근성 격차를 파악한다. 이는 물리적 접근성만 측정하며 차량 가용성이나 시설의 24시간 운영 여부는 가정에 불과하다. 두 예시는 부록이 설명하는 평가 과제와 바람직한 분석 절차이며, 실제 현장 적용 성과가 검증됐다는 뜻은 아니다.

한계와 오해하기 쉬운 점

GeoExpertQueries의 62.7점은 실제 현장 정답률이 아니다. 자동 채점기가 에이전트의 실행 궤적을 전문가 워크플로우와 비교해 분석 절차가 얼마나 일치하는지 평가한 점수다. 따라서 GRA의 출력은 전문가가 검토하고 발전시킬 '강한 초안'으로 보아야 하며 최종 답이 아니다. 69개 실행 기록의 검증에서 전문가 세 명 간 일치도 알파는 0.56, 자동 채점기를 네 번째로 추가하면 0.57이었지만, 절대 점수는 채점 기준의 엄격성에 따라 달라질 수 있다. 구성 간 비교는 같은 채점기를 사용하므로 순위는 유지될 것으로 기대된다.

GeoKTools는 GRA가 지원하는 도구 중심으로 설계되어 도구를 가진 구성에 유리하다. 독점·이용 불가 데이터가 필요한 문제는 제외되었다. 따라서 이 벤치마크는 일반적 지리공간 커버리지보다 다중 도구 오케스트레이션 능력을 측정한다. 공식 파트너 시연(WHO 아프리카 지역 사무소, People in Need 등)의 효과는 회사 연구이며 독립적인 현장 효과 검증이 아니다. 공중보건 12% 개선·8배 해상도는 별도 과거 연구 결과로 이번 에이전트 평가 결과가 아니다. 공개된 것은 새 두 벤치마크의 개발 분할이며 비공개 시험 분할까지 모두 공개한 것은 아니다.

실제로 어떻게 활용할까

GRA는 Ask Google Earth의 실험적 딥 리서치 업데이트와 개발자용 에이전트 간(A2A) API로 초기 접근이 확대된다. 사용자는 자연어로 복잡한 공간 질문을 하고, CSV·GeoJSON·클라우드 테이블로 자신의 데이터를 업로드해 비공개 위치와 지구 AI의 글로벌 모델을 결합할 수 있다. 예를 들어 GiveDirectly는 맞춤 지도 경계를 업로드해 열대 저기압 Maila 동안 풍속 구역별 인구 노출을 계산했고, Milken Institute는 1,500개 이상 후보 건물 목록과 구글 지도 플랫폼의 Solar API·인구조사 데이터를 결합해 지역사회 회복력 허브 입지를 선별했다.

기술적으로 GRA는 행성 예측 엔진(Planetary Prediction Engine)도 구동한다. 사용자가 지역 질병률, 작물 수확량, 정전 같은 결과 데이터를 제공하면 에이전트가 인구·환경 신호를 자동 선택하고 PDFM·AlphaEarth Foundations 임베딩을 활용해 공간 예측, 초해상도 다운스케일링, 예측 모델을 훈련한다. 다만 이번 보고서의 평가는 개방형 분석 질의에 초점을 맞추며 예측 엔진의 정량적 성능은 별도 연구에서 다룬다. 실제 도입 시에는 도구 접근과 순수 추론 능력의 이득을 동일시하지 말아야 하고, 비용 추정에 외부 데이터·계산 비용이 빠져 있음을 고려해야 한다.

원문에서 확인한 근거 4곳

GeoExpertQueries에서 단독 LLM은 0.0, 기본 도구는 3.3, GRA 도구만 52.2, 전체 GRA는 62.7점을 기록했다(Gemini 3.8 Flash 기준).Blog scores using Gemini 3.8 Flash
GeoExpertQueries는 101개 개방형 문제(시험 76개)로 구성되며, 각 문제는 세 명의 독립적 전문가 워크플로우를 합의한 골든 워크플로우와 비교되어 자동 채점된다.4.1. GeoExpertQueries
UnivEARTH에서 단독 LLM이 93.6점을 받아 벤치마크가 포화되었으며, 이는 질문이 공개된 NASA 기사에서 파생되어 답을 기억하거나 검색할 수 있기 때문이다.5.5. UnivEARTH: Benchmark Saturation
GeoExpertQueries의 질문당 추론 비용은 GRA의 Gemini 3.8 Flash 구성이 0.199달러로 같은 GRA의 Gemini 3.1 Pro 구성 0.688달러보다 71% 저렴하며, 이 비용은 LLM 토큰 추론만 포함하고 Earth Engine·외부 데이터·계산 비용은 제외된다.5.6. Model Comparison and Cost-Accuracy Tradeoffs

출처원문 — Google Research · Earth AI 다룬 원문 PDF

10월 16일(금) 정리 · AI가 쓰고 원문과 대조