DyRAD: 움직이는 도로 장면을 다른 위치의 레이더 시점으로 재현하기

배경과 문제

자율주행 시스템을 안전하게 개발하려면 실제 도로에서 수집한 센서 데이터를 바탕으로 다양한 상황을 시뮬레이션해야 한다. 카메라와 라이다는 이미 새로운 시점에서 장면을 재구성하는 기술이 발전했지만, 레이더는 아직 초기 단계다. 레이더는 도플러 효과를 통해 물체의 상대 속도를 직접 측정할 수 있고 악천후에도 강하다는 장점이 있지만, 측정값이 희소하고 공간 해상도가 낮아 재구성이 어렵다.

레이더 측정값은 단순한 사진이 아니다. 센서의 신호 처리 과정에서 각 반사체의 신호가 거리, 방위각, 도플러 축을 따라 퍼져서 기록된다. 이 퍼짐은 센서 고유의 점 확산 함수(PSF)에 의해 결정되는데, 기존 방법은 이 퍼짐을 장면의 실제 구조로 오해하여 학습한다. 그 결과 시점을 이동하면 퍼짐이 실제 지형처럼 잘못 렌더링되어 정확한 재현이 불가능해진다.

기존 접근의 한계

기존 레이더 신규 시점 합성(NVS) 방법은 크게 두 갈래로 나뉜다. 하나는 동적 주행 장면을 다루지만 거리-방위각(RA) 텐서만 재구성하여 도플러 정보를 버린다. 다른 하나는 도플러를 렌더링하지만 장면이 정적이라고 가정하여, 도플러가 오직 센서 자체의 움직임에서만 발생한다고 본다. 따라서 움직이는 물체의 속도 정보를 담은 완전한 RAD 텐서를 재구성하는 방법은 없었다.

또한 기존 평가 방식은 녹화된 주행 경로 위의 보류 프레임에서만 성능을 측정했다. 이 프레임들은 훈련 포즈와 거의 동일한 위치에 있어서, 측정 공간에서 단순 보간만 해도 높은 점수를 받을 수 있다. 이는 폐루프 시뮬레이션에 필요한 실제 변위된 시점에서의 합성 능력을 검증하지 못한다는 문제가 있다.

연구방법을 단계별로

DyRAD는 장면을 크기가 없는 점 반사체들의 집합으로 표현한다. 정적 배경은 고정된 위치의 반사체로, 동적 물체는 객체의 강체 궤적을 따라 움직이는 반사체로 모델링한다. 각 반사체는 기본 반사 강도와 시점 의존 반사율을 학습하며, 동적 반사체는 객체 좌표계에서의 위치를 유지하면서 궤적의 병진 및 회전 운동을 따른다.

렌더링 과정은 먼저 각 반사체를 센서 좌표계로 투영하여 거리, 방위각, 시선 방향을 계산한다. 도플러는 객체 궤적으로부터 속도를 추정하고 센서와의 상대 속도를 시선 방향으로 투영하여 얻는다. 이때 레이더 도플러 측정의 주기성을 반영하기 위해 속도를 센서의 비모호 구간으로 감싼다.

센서 응답은 신호 처리 체인에서 유도된 고정된 PSF로 모델링한다. 각 반사체의 기여는 거리, 방위각, 도플러 축의 커널 곱으로 표현되며, 이 커널들은 최적화 전에 계산되어 고정된다. 마지막으로 모든 반사체의 기여를 비간섭적으로 합산하여 RAD 텐서를 형성하고, 기록된 강도 표현으로 변환한다.

초기화 단계에서는 객체 바운딩 박스를 연결하여 궤적을 만들고, 도플러 평균 RA 맵에서 피크를 추출하여 정적 및 동적 반사체를 초기화한다. 최적화는 재구성 손실과 보간 일관성 손실의 합으로 진행되며, 잔차 피크를 이용한 밀집화를 통해 정적 배경 반사체를 추가한다.

결과와 숫자의 의미

RADIal 데이터셋의 경로 위 평가에서 DyRAD는 전체 RAD 상관계수를 0.068에서 0.272로, 객체 영역 상관계수를 -0.010에서 0.658로 향상시켰다. 원본 레이더에서 탐지된 객체 중 합성 데이터에서도 탐지 신호가 회복된 비율은 가장 강한 비교 모델의 26.9%에서 90.7%로 증가했다. 이는 모든 실제 객체를 분모로 한 객체 인식 정확도가 아니다. 이는 동적 객체 모델링과 도플러 감독이 객체 반사 신호를 보존하는 데 결정적임을 보여준다.

실제 데이터의 경로 밖 평가는 센서를 물리적으로 왕복시켜 정답을 수집한 실험이 아니다. 먼저 2m 옆으로 옮긴 궤적의 데이터를 합성하고, 그 합성 데이터에 새 모델을 다시 맞춘 뒤 원래 포즈·훈련 시각으로 돌아와 실제 기록과 비교하는 render-and-refit 실험이다. 이 조건에서 원본에 탐지된 객체의 신호를 다시 회복한 비율은 DyRAD 91.7%, 가장 강한 기존 방법 18.1%였다. Boreas에서도 객체 영역 상관계수는 0.211 대비 0.641로 높았다. 이 실험은 이동과 재학습 뒤 장면 정보의 회복 가능성을 보며, 실제로 이동한 위치의 정답과 직접 비교한 정확도나 보류 시각의 경로 위 점수와는 구분해야 한다.

합성 데이터의 직접 경로 밖 평가에서 DyRAD는 객체 영역 RAD 상관계수 0.356을 달성하여 DyRAD-static의 0.161과 RadarFields의 0.086을 능가했다. 탐지 F1 점수는 0.227로 RadarSplat의 0.106보다 높았지만, 거리 오차(CD)는 5.13m로 RadarSplat의 5.14m와 거의 같았다. 이는 공간적 위치는 비슷하지만 도플러와 강도 정보가 더 정확함을 의미한다.

절제 연구에서 도플러 감독은 객체 도플러 피크 오차를 1.843빈에서 0.732빈으로 60% 감소시켰고, 고정 PSF는 학습된 가우시안 범위나 학습된 PSF 대비 탐지 재현율을 두 배 이상 높였다. 센서 설정 전이 실험에서는 직접 렌더링이 선형 업샘플링 대비 CD를 7.27m에서 3.20m로 줄이고 F1을 0.101에서 0.195로 거의 두 배 향상시켰다.

구체적인 예시

RADIal 데이터셋의 한 장면에서 DyRAD는 정적 변형이나 기준 모델이 놓치는 차량의 반사 신호를 보존했다. 예를 들어, 도플러-거리(RD) 투영에서 DyRAD는 차량에 해당하는 도플러 성분을 뚜렷하게 재현했지만, RadarSplat과 RadarFields는 해당 영역에서 거의 신호를 만들지 못했다. 이는 객체 궤적을 통해 도플러를 명시적으로 렌더링한 효과다.

센서 설정 전이의 예로, 동일한 원시 ADC 녹음에서 거친(coarse) 설정으로 학습한 모델을 미세(fine) 설정의 PSF와 샘플링 그리드로 직접 렌더링했다. 그 결과 객체 영역 RAD PSNR이 선형 업샘플링보다 높았고, 탐지 적중률은 90.6%에서 96.0%로 향상되었다. 이는 학습된 반사체가 거친 해상도 이상의 장면 구조를 포착했음을 시사한다.

한계와 오해하기 쉬운 점

DyRAD의 반사체-객체 할당은 객체 주석에 의존하며 최적화 중에 고정된다. 초기화 오류가 있어도 수정되지 않으므로, 할당을 공동으로 개선하면 성능이 더 좋아질 수 있다. 또한 다중 경로 반사와 스펙클 노이즈를 모델링하지 않아 실제 측정의 사실성이 제한된다.

제시한 수식은 3D 재구성을 지원하지만, 실험 센서에 고도 정보가 없어 이번 구현과 평가는 지상 평면에서 수행했다. 고도 해상도가 있는 레이더에서의 성능은 추가 검증이 필요하다. 또한 센서 설정 전이는 동일한 물리적 센서의 처리 설정 변경만 시연했으며, 다른 하드웨어 센서로의 전이는 아직 검증되지 않았다.

성능 지표 해석에 주의해야 한다. 전체 측정 영역의 PSNR이나 SSIM은 희소한 레이더 데이터에서 노이즈 플로어 일치에 의해 지배될 수 있다. 예를 들어 구조가 전혀 없는 상수 예측이 일부 재구성 방법보다 높은 SSIM을 기록했다. 따라서 객체 영역 상관계수나 탐지 적중률 같은 지표를 함께 봐야 실제 구조 보존 여부를 알 수 있다.

실제로 어떻게 활용할까

DyRAD는 자율주행 시스템의 폐루프 평가에 활용될 수 있다. 녹화된 주행 데이터로부터 장면을 재구성한 뒤, 원래 경로를 벗어난 새로운 궤적에서 레이더 측정값을 합성하여 인지 알고리즘을 테스트할 수 있다. 특히 도플러 정보를 포함하므로 움직이는 물체의 속도 추정 성능을 평가하는 데 유용하다.

시연된 센서 설정 전이는 동일한 물리적 센서의 원시 ADC 기록을 서로 다른 처리 해상도로 구성한 실험이다. 저해상도 설정에서 학습한 장면을 고해상도 PSF와 샘플링 격자로 렌더링할 수 있었다. 이를 활용하면 처리 설정 변화의 효과를 검토할 수 있지만, 다른 하드웨어 센서로 교체했을 때의 측정값까지 정확히 예측한다고 결론내릴 수는 없다.