TERRA: 지형까지 고려해 근육 기반 가상 인물을 걷게 하기

배경과 문제

인간은 계단을 오르거나 경사로를 내려가거나 의자에 앉을 때 수백 개의 근육을 환경 변화에 맞춰 조율한다. 신경과학에서는 이렇게 신체가 환경이 제공하는 행동 가능성(어포던스)을 어떻게 표상하는지가 오래된 질문이고, 로봇공학에서도 인간용 공간을 돌아다녀야 하는 휴머노이드에게 같은 문제가 실용적으로 중요해졌다. 물리 기반 근골격 모델과 강화학습을 결합하면 근육 수준의 제어로부터 복잡한 동작이 어떻게 나타나는지 연구할 수 있다. 초기 연구는 걷기나 달리기 같은 개별 기술을 생성하는 데 그쳤지만, 최근에는 대규모 모션 캡처 데이터를 모방해 다양한 동작 레퍼토리를 학습하는 방식으로 발전했다.

그러나 이런 학습된 행동 레퍼토리는 거의 전부 평지에 국한되어 있다. 평지가 아닌 지형에서의 이동이 어려운 이유는 크게 두 가지다. 첫째, 기존 모션 캡처 데이터셋은 사람의 관절 궤적만 제공할 뿐 그 사람이 밟고 있는 지형의 기하 정보를 거의 포함하지 않는다. 둘째, 사람의 동작을 복잡한 근골격 모델로 옮기는 재타겟팅은 단순히 관절 위치를 맞추는 것을 넘어 접촉을 보존하고, 발이 지면을 뚫거나 미끄러지거나 떠 있지 않아야 하며, 관절 가동 범위와 근육-힘줄 길이 제약을 만족해야 한다. 평지가 아닌 지형에서는 이런 오류가 증폭되어 참조 동작 자체가 실행 불가능해질 수 있다.

기존 접근의 한계

동작 궤적으로부터 주변 장면 구조를 복원하거나 합성하는 방법들이 여럿 제안되었다. 어떤 방법은 접촉 신호와 자유 공간 단서를 학습하고, 어떤 방법은 물리 기반 상호작용 제약을 사용한다. 영상 기반 파이프라인은 사람의 동작과 장면 기하를 함께 복원하지만 카메라 관찰에 의존한다. 시각 정보 없이 관성 센서만으로 지역 지형 높이 필드를 추정하는 TIP도 있다. TERRA와 가장 가까운 SceneBot은 재타겟팅된 동작으로부터 일정한 높이의 지형 패치를 배치하고 병합해 접촉이 풍부한 환경을 만든다. 하지만 SceneBot은 재구성된 장면을 주로 하류 추적 성공으로만 평가하고, 실제 지형과의 기하 오차를 측정하지 않는다. 또한 SceneBot의 코드가 공개되지 않아 TERRA는 그 방법을 변형한 일정 높이 패치 기준선과 비교한다.

동작 재타겟팅 분야에서는 대규모 인간 동작 저장소 덕분에 모방 학습이 확장 가능한 전략이 되었다. 기존 방법으로는 키포인트 기반 최적화, 학습된 형태 간 매핑, 물리적 타당성을 고려한 방법 등이 있다. OmniRetarget은 신체와 장면의 상호작용 메시를 공유해 물체 및 지형과의 상호작용을 보존하지만, 그 상호작용 메시를 만들 때 사용된 지형이나 물체 기하가 이미 주어져 있다고 가정한다. TERRA는 이보다 앞선 문제, 즉 동작 데이터셋이 장면 모델 없이 신체 운동학만 제공할 때 작업에 필요한 지지 기하를 복원하는 문제를 다룬다. 근골격 제어 분야에서도 여러 연구가 근육 구동 신체의 모방 학습을 발전시켰지만, 역시 평지에 머물러 있었다. TERRA는 재구성된 지형과 짝지은 동작으로 단일 근육 구동 정책을 학습시켜 3차원 이동으로 확장한다.

연구방법을 단계별로

TERRA는 크게 지형 재구성, 지형 인식 재타겟팅, 정책 학습, 생체역학적 검증의 네 단계로 구성된다. 먼저 근골격 모델은 MuscleMimic에서 사용한 손가락이 비활성화된 MyoFullBody 구성으로, 354개의 Hill-type 근육-힘줄 액추에이터와 83개의 MuJoCo 관절(부동 루트 1개와 스칼라 관절 82개)을 가진다. 소스 동작은 AMASS 호환 SMPL-H 형식으로 입력받으며, 마커 기반 데이터셋을 위해 C3D, MAT, TRC 형식도 지원한다. 각 시퀀스는 MyoFullBody에 맞춘 SMPL-H 체형을 사용해 52개 월드 공간 관절 위치와 회전으로 변환되고, 가장 낮은 발끝이 z=0이 되도록 수직 이동된다. 지형 사전 정보로는 독립 지지 박스, 경사로, 계단, 의자 지지대의 네 가지가 정의되며, 모두 정적 MuJoCo 박스 충돌 기하로 구현된다.

지형 재구성은 동작 궤적에서 직접 지형을 만든다. 발목이나 발끝 랜드마크가 국소적으로 정지해 있고 낮게 유지되는 구간은 표면이 존재한다는 양성 증거가 되고, 나머지 신체 궤적은 허용 가능한 기하를 제한하는 자유 공간 증거가 된다. 연속적인 경사로와 이산적인 수평 표면을 구별하기 위해 두 가지 추가 단서를 사용한다. 하나는 디딤 구간 동안 중립 보정된 발목-발끝 방향이고, 다른 하나는 같은 발의 연속된 디딤 구간 사이에서 스윙 발의 지면 간극 프로파일이다. 지지 표면 높이를 추정할 때는 관절 중심과 신체 접촉 표면 사이의 거리를 보정하기 위해 관절별 오프셋을 뺀다. 오프셋은 피험자별 평지 참조가 있으면 그것을 쓰고, 없으면 평지 구간이 있는 데이터셋에서 자체 보정하거나 가장 낮은 지지 높이로부터 추정한다. 서로 다른 표면 높이 수준은 인접 값이 4cm 이상 차이날 때 새 수준으로 나누고, 8cm 이상 벌어진 초기 그룹은 가장 큰 내부 간격에서 재귀적으로 분할한다.

연속 지형과 이산 지형을 판별하기 위해 각 정지 구간의 중앙 수평 위치를 첫 번째 주성분 방향 a에 투영한 좌표 u를 사용해 평지-경사-평지 프로파일 h(u)를 맞춘다. 발목-발끝 피치각 θ_t와 중립값 θ_0^ℓ, 발 방향과 경사 방향 사이 각 γ_t를 이용해 평지 오차 E_flat과 경사 오차 E_ramp를 계산하고, 더 작은 오차를 주는 표면을 선택한다. 두 오차 차이가 2도 이하이면 정규화된 스윙 간극 점수로 발 궤적을 선형 높이 전이와 비교해 경사로인지 이산 표면인지 결정한다. 이산 지형의 경우, 세 개 이상의 높이 수준이 있으면 공통 수평 축과 폭, 맞춤 라이저 높이를 가진 계단 후보를 고려하고 독립 박스 후보도 만든다. 각 높이 수준의 요(yaw)는 수평 접촉점들의 주축에 정렬되고, 같은 수준에서 공간적으로 분리된 접촉은 서로 다른 박스에 할당된다. 접촉 외곽선은 발 크기만큼 확장한 뒤 자유 공간 신체 궤적과 교차하는 부분을 잘라낸다. 계단 후보의 디딤판이 모든 올려진 정지 발에서 5cm 이내이고 다른 신체 랜드마크가 5cm 이상 관통하지 않으면 계단을 선택하고, 그렇지 않으면 독립 박스로 지형을 만든다. 의자는 골반 속도가 0.15m/s 미만으로 0.4초 이상 유지되고 골반 중앙 수평 위치가 발과 지지 다리 랜드마크의 볼록 껍질 밖으로 0.10m 이상 벗어날 때 감지한다. 의자 상단 높이는 로봇에 맞춘 SMPL-H 후방 골반/엉덩이 표면의 10번째 백분위 높이 중앙값으로 정하고, 0.04~0.60m 범위 밖 후보는 버린다.

재타겟팅 단계에서는 OmniRetarget의 상호작용 메시 목적을 변형하고, 해부학적 및 지형 상호작용 항을 추가한 뒤 순차 이차 계획법(SQP)으로 최적화한다. 상호작용 메시는 소스 랜드마크와 재구성된 장면 샘플을 포함한 정점 행렬을 만들고, 들로네 사면체화로 이웃을 정의해 균일 라플라시안을 계산한다. TERRA는 여기에 골반과 양측 고관절·무릎 부위의 회전을 맞추는 보정된 방향 잔차, 디딤 구간 동안 발꿈치뼈를 접지 앵커에 고정하는 앵커 잔차, 발목·발끝의 프레임 간 수평 이동과 0.25m/s 초과 속도를 벌점화하는 변위 항, 좌우 다리 충돌 기하 사이 거리와 스윙 발바닥 간극을 보장하는 단측 잔차, 지형 면 근처에서 발목·발끝에 최대 0.06m의 지형 회피 리프트를 더하는 항, 앉은 휴식 구간에서 후방 골반 충돌 기하를 재구성된 의자에 붙이는 부호 거리 잔차를 추가한다. SQP는 각 프레임에서 관절 한계, 관통 제약, 신뢰 반경을 만족하면서 상호작용 메시 잔차와 TERRA 잔차의 가중 합을 최소화하도록 89개 일반화 좌표(루트 병진 3개, 단위 쿼터니언 1개, 관절 좌표 82개)의 업데이트를 구한다. 깊은 관통은 반복당 최대 10mm만 복구하도록 잘라내고, 루트 쿼터니언은 단위 3-구면으로 방사 투영한다. 첫 프레임은 30개 복사본으로 웜스타트하고 신뢰 반경 1.0, 최대 50회 반복을 쓰며, 이후 프레임은 반경 0.2, 최대 10회 반복을 쓴다. 마지막으로 짧은 충돌 이상치와 힘줄 불연속은 유계 보간으로 고친다.

정책 학습은 지형과 짝지은 동작을 모방하는 다중 동작, 지형 인식, 근육 구동 제어 정책을 PPO로 학습한다. 정책은 관절 위치·속도, 루트 높이·투영 중력, 헤딩 프레임 루트 속도, 근육 명령·활성화 상태, 네 발·발끝 접촉 센서, 골반 중심 0.1m 간격의 11×11 높이 맵을 관찰한다. 1단계 타겟은 헤딩 프레임 루트와 모방 부위의 위치·방향·속도 오차를 인코딩하고, 0.2~0.8초 미래 타겟은 루트 움직임과 골반 기준 부위 위치를 인코딩한다. 보상은 전신 자세·속도 추적, 골반 기준 상체 위치 항, 종료 품질 보너스를 결합하고, 근육 활성화 정규화로 과도한 활성화를 억제하면서 근육 단위 침묵을 방지한다. 에피소드는 전역 또는 코어 상체 평균 부위 오차가 0.15m를 넘거나 루트 방향 오차가 1rad을 넘으면 종료된다. 각 정책은 40억 스텝 학습되며, 8192개 병렬 환경, 100Hz 제어 주파수, 액션당 5번의 2ms 물리 스텝을 사용한다.

결과와 숫자의 의미

여기서 경사각·계단 높이·의자 높이 오차는 Gait120의 각 해당 동작 집합에서 측정한 결과이며, 지형 분류 정확도의 전체 분모와 다르다. 지형 재구성 평가에서 TERRA는 알려진 지형 데이터셋 전체 5,474개 동작에 대해 지형 계열 분류 정확도 99.9%를 달성했다. 경사각 평균 절대 오차(MAE)는 0.223도, 계단 라이저 높이 MAE는 8.08mm, 의자 높이 MAE는 45.62mm였다. 기준선인 접촉 최소제곱법은 경사각 MAE 1.683도, 계단 라이저 MAE 23.42mm, 의자 높이 MAE 490.00mm로 훨씬 나빴고, 보로노이 기준선은 계단 라이저 MAE 42.24mm, 의자 높이 MAE 80.90mm였다. 발 방향과 스윙 간극 단서를 제거한 TERRA(물리 단서 없음)는 계열 정확도가 73.5%로 떨어졌지만 다른 지표는 거의 변하지 않아, 이 두 단서가 지형 유형 판별에 핵심임을 보여준다. PRISM 메시 기하 평가에서 TERRA는 발 높이 MAE 12.95mm, 의자 높이 MAE 11.16mm, 결합 지지 높이 MAE 12.20mm를 기록했고, 올려진 영역 재현율 90.8%, 평지 재현율 98.0%, 올려진 발자국 IoU 47.3%를 달성했다. AMASS-지형 일관성 평가에서는 접촉 높이 MAE 10.24mm, |오차|≤50mm 비율 97.1%, 관통/부유 비율 0.7%/2.2%, 올려진 지지 정밀도/재현율/F1 98.6%/89.7%/93.9%를 기록했다.

재타겟팅 평가에서 TERRA는 다섯 가지 물리적 위반 지표 모두에서 가장 좋은 결과를 냈다. 힘줄 불연속 비율 D_ten은 0.026%, 자기 충돌 D_col은 0.52%, 환경 관통 D_pen은 0.16%, 스케이팅 D_skat은 1.80%, 부유 D_float은 1.02%였다. 접촉 타이밍 F1은 93.80%로 가장 높았다. TERRA의 잔차 항을 제거하면 접촉 F1이 88.49%로 떨어지고 환경 관통이 33.45%로 급증해, 잔차 항이 지형 상호작용 타당성에 크게 기여함을 보여준다. TERRA+Voronoi와 비교하면 TERRA의 재구성된 지형이 관통, 스케이팅, 부유를 더 줄이고 접촉 F1을 높였다. 정책 추적 평가에서 TERRA로 재타겟팅한 참조 동작은 보지 못한 테스트 동작에 대해 완주율 87.59%로 기준선 중 가장 높았고, MPJPE는 74.47mm였다. 지형 계열별로 보면 TERRA는 평지(91.70%), 경사로(99.49%), 박스(46.45%), 의자(89.32%)에서 가장 높은 완주율을 보였고, 계단에서는 TERRA+Voronoi(85.01%)가 TERRA(81.90%)보다 약간 높았다. MPJPE는 평지 70.01mm, 경사로 66.74mm, 박스 82.50mm로 가장 낮았지만, 계단과 의자에서는 TERRA+Voronoi가 더 낮았다.

생리학적 평가에서는 보지 못한 평지, 경사로 하강, 계단 하강, 앉기/일어서기 동작에 대해 정책이 생성한 근전도(EMG)와 수직 지면 반력(GRF) 파형을 인간 데이터와 비교했다. 모든 인간과 정책 궤적은 독립적으로 최소-최대 정규화되어 파형 모양만 비교했다. 선택된 예시에서 정책과 인간 프로파일은 EMG 타이밍과 모양에서 유사점과 눈에 띄는 불일치를 모두 보였다. 수직 GRF 패널은 디딤 타이밍과 정규화된 파형 모양을 시각적으로 비교해 준다. 저자들은 이러한 예시가 TERRA가 미래에 생리학적 과정을 연구하는 도구가 될 수 있음을 시사한다고 해석한다.

구체적인 예시

그림 3은 Vielemeyer 10도 하강 경사로와 PRISM 스테핑 박스에서 지형 재구성 방법을 비교한다. 검은 십자가는 모든 패널에서 동일한 참조 발끝 접촉을 나타내고, 점선 세그먼트는 각 접촉을 같은 수평 위치에서 재구성된 높이에 연결한다. TERRA는 경사로에서 접촉점들이 재구성된 경사면 위에 놓이도록 하고, 스테핑 박스에서는 각 박스의 윗면 높이를 정확히 복원한다. 반면 접촉 최소제곱법은 하나의 평면만 맞추기 때문에 계단이나 박스의 높이 차이를 표현하지 못하고, 보로노이 기준선은 높이 필드가 거칠어 접촉점과 재구성 높이 사이 오차가 크다.

그림 4는 TERRA 동작으로 학습한 정책이 보지 못한 동작을 계단, 경사로, 개별 플랫폼, 의자 등 다양한 지형에서 모방하는 모습을 보여준다. 예를 들어 정책은 계단을 오르내릴 때 발을 디딤판에 정확히 올리고, 경사로에서는 발목 각도를 경사에 맞추며, 의자에서는 앉는 동작 중 골반을 의자 표면에 접촉시킨다. 그림 5는 보지 못한 동작에 대한 인구 평균 생리학적 프로파일을 비교한다. 평지, 경사로 하강, 계단 하강, 앉기/일어서기 조건에서 수직 GRF와 대표 근육 세 개(가쪽넓은근, 안쪽넓은근, 가자미근, 장딴지근, 넙다리두갈래근, 앞정강근 중 선택)의 정규화된 파형을 보여준다. 음영은 피험자 간 표준 오차를 나타낸다. 예를 들어 계단 하강에서 정책의 앞정강근 활성화 타이밍이 인간과 다르게 나타나는 불일치가 관찰된다.

한계와 오해하기 쉬운 점

TERRA의 지형 재구성은 정적 지형만 다룬다. 움직이는 표면이나 동적 장애물은 미래 과제로 남아 있다. 또한 지형 사전 정보가 네 가지(독립 지지 박스, 경사로, 계단, 의자)로 제한되어 있어, 이 범주에 맞지 않는 임의의 지형은 잘 표현하지 못할 수 있다. 재구성 정확도는 지지 구간 제거에 민감하다. 지지 구간을 30% 제거하면 전체 정확도가 90.04%로 떨어지고, 특히 의자에서 70.36%로 크게 낮아진다. 이는 접촉 증거가 부족하면 지형 추론이 불안정해질 수 있음을 보여준다.

생리학적 평가는 정성적 비교에 그친다. EMG와 GRF 파형을 최소-최대 정규화해 모양만 비교했기 때문에 진폭이나 절대 크기의 일치는 평가하지 않았다. 또한 선택된 예시에서 유사점과 불일치가 모두 관찰되었지만, 통계적 유의성 검정이나 정량적 상관 지표는 보고되지 않았다. 따라서 TERRA가 생성한 근육 활동이 실제 인간과 생리학적으로 동등하다고 해석해서는 안 된다. 저자들도 TERRA가 미래에 생리학적 과정을 연구하는 도구가 될 수 있다고 조심스럽게 표현한다. 정책 추적 성능에서도 TERRA가 모든 지형에서 최고는 아니었다. 계단에서는 TERRA+Voronoi가 완주율과 MPJPE 모두 더 좋았고, 의자에서는 TERRA+Voronoi가 MPJPE가 더 낮았다. 이는 재구성된 지형의 품질이 항상 하류 성능을 결정하지는 않으며, 특정 지형에서는 다른 재구성 방법과의 결합이 유리할 수 있음을 시사한다.

실제로 어떻게 활용할까

TERRA는 장면 정보가 없는 모션 캡처 데이터로부터 근육 구동 이동 제어를 학습할 수 있는 실용적인 경로를 제공한다. 연구자는 AMASS 같은 대규모 동작 저장소에서 비평지 동작을 추출하고, TERRA로 지형을 재구성한 뒤 재타겟팅하여 근골격 모델용 참조 동작을 만들 수 있다. 이렇게 만든 동작-지형 쌍은 강화학습으로 단일 제어 정책을 학습시키는 데 바로 사용할 수 있다. 코드와 데이터가 공개될 예정이므로, 다른 연구팀이 자신의 근골격 모델이나 동작 데이터셋에 적용해 볼 수 있다.

신경과학 연구에서는 TERRA가 어포던스 표상 연구에 새로운 길을 열 수 있다. 고전적 발견인 계단 오르기와 앉기가 신체 척도로 지각된다는 주장을, 학습된 지형 표상과 근골격 신체 능력을 연결해 재검토할 수 있다. 예를 들어 특정 계단 높이가 신체 다리 길이에 비해 어떻게 행동 가능성으로 표상되는지 시뮬레이션으로 탐구할 수 있다. 로봇공학에서는 휴머노이드가 인간용 공간을 돌아다닐 때 필요한 지형 인식 제어의 참조 동작 생성에 활용할 수 있다. 다만 현재는 정적 지형만 지원하므로, 움직이는 표면이나 온라인 재타겟팅이 필요한 응용에는 추가 개발이 필요하다.