서버 안의 보호 구역에서 배우는, 외부 검증 가능한 연합학습

배경과 문제

전통적 연합 학습은 기기에 데이터를 두고 계산 결과를 모아 모델을 학습하는 방식으로 알려졌다. 구글은 2017년 연합 학습을 소개한 뒤 Gboard와 스마트 답장 등에 적용해 왔다. 이번 시스템은 암호화된 학습 예제를 서버의 TEE로 옮기는 확장된 정의를 따른다. 하지만 기존 시스템은 기기에서 모델 그래디언트를 계산해 서버로 업로드하는 방식이었다. 서버는 업로드된 그래디언트에 직접 접근할 수 있었기 때문에, 사용자는 서버 운영자가 데이터를 기록하거나 검사하지 않는다는 것을 외부에서 검증할 방법이 없었다.

이 문제를 완화하기 위해 보안 집계(SecAgg)와 분산 차등 프라이버시(DP) 같은 기법이 도입되었다. 보안 집계는 서버가 개별 업로드를 보지 못하게 암호학적으로 보호한다. 구글의 설명은 종전 시스템에서 사용한 보안 집계와 최신 중앙 DP 보장을 결합하는 데 제약이 있었다는 것으로, 모든 보안 집계와 중앙 DP가 원리적으로 양립 불가능하다는 뜻은 아니다. 또한 기존 시스템은 기기의 가용성에 따라 학습 진행이 좌우되었다. 기기는 Wi-Fi에 연결되고 충전 중이며 배터리가 충분할 때만 참여할 수 있어, 학습 라운드가 지연되고 일부 기기는 참여 기회를 얻지 못했다. 이러한 신뢰 문제와 운영상의 제약이 새로운 시스템의 동기가 되었다.

기존 접근의 한계

논문이 비교하는 종전 시스템은 개별 기기에서 계산한 그래디언트의 집계와 기기 보호 장치에 의존했다. 보안 집계와 분산 DP는 서버가 개별 업로드에서 볼 수 있는 정보를 제한했지만, 기기 소유자나 외부 감사자가 서버 쪽 학습 로직 전체가 약속대로 작동하는지 확인하기는 어려웠다. 새 시스템이 줄이려는 신뢰 의존성은 바로 이 서버 측 처리 과정이다. 단순히 개별 데이터를 서버가 읽지 못하면 중앙 DP를 쓸 수 없다는 논리는 이 연구의 결론이 아니다.

또한 기존 시스템은 기기 가용성의 일중 변동에 민감했다. 학습 라운드는 기기가 서버에 접속할 때만 진행될 수 있었고, 서버는 특정 시간에 가용한 기기들로 코호트를 구성해야 했다. 이로 인해 자주 접속하거나 인기 없는 시간에 접속하는 기기가 편향적으로 선택되었다. 논문의 실험에 따르면, 일본어 모델 학습에서 38일 동안 3550만 대의 가용 기기 중 850만 대만 실제로 기여했고, 2050만 대는 서버로부터 작업을 받지 못했으며 650만 대는 작업을 받았지만 중단으로 완료하지 못했다. 기기에서 그래디언트를 계산해야 하므로 모델 크기도 제한되었다.

연구방법을 단계별로

새 시스템은 두 단계로 구성된다. 첫 번째 단계는 데이터 업로드다. 기기는 학습에 사용할 원시 데이터를 로컬에서 암호화하여 중간 저장소에 업로드한다. 이때 기기는 접근 정책(access policy)을 사전 승인하는데, 이 정책은 나중에 이 데이터를 처리할 수 있는 서버 측 TEE 워크로드의 집합을 정의한다. 접근 정책은 공개 투명성 로그에 게시되어야 하며, 기기는 업로드 전에 이 로그를 확인한다.

두 번째 단계는 서버 측 데이터 처리다. 키 관리 시스템(KMS)은 TEE 클러스터로 구성되며 RAFT 합의 프로토콜을 구현한다. KMS는 접근 정책에 명시된 계산과 일치하는 서버 측 TEE 워크로드에만 복호화 키를 제공한다. 데이터 처리 TEE는 Python 프로그램을 실행하는데, 이 프로그램은 '루트' TEE에서 실행되며 병렬화 가능한 하위 작업을 '워커' TEE 클러스터에 위임한다. 분산 로직은 TensorFlow Federated에서 파생된 오픈소스 조정 언어인 Federated Language로 표현된다.

학습 루프는 주기적으로 익명화된 모델 가중치를 데이터 분석가에게 공개한다. 프로그램은 각 라운드가 끝날 때 KMS로 암호화된 복구 상태를 저장하여, 루트나 워커의 일시적 장애가 발생해도 추가적인 프라이버시 손실 없이 복구할 수 있다. 복구 메커니즘은 비결정적 프로그램에서 같은 라운드의 결과가 여러 번 공개되어 정보가 누출되는 것을 방지한다. 예를 들어, 프로그램이 1000라운드를 실행하고 10라운드마다 체크포인트를 공개한다면, 206라운드 중간에 실패하더라도 200~205라운드의 복구 정보에서만 재시작할 수 있다.

결과와 숫자의 의미

새 시스템은 기기 커버리지를 크게 개선했다. 일본어 모델 실험에서 기존 시스템은 38일 동안 3550만 대의 가용 기기 중 850만 대(23.9%)만 학습에 기여했다. 반면 새 시스템은 약 6일 동안 1780만 건의 업로드를 수집했고, 이 모든 업로드가 학습에 사용되었다. 두 학습은 모두 3000라운드, 라운드당 기기 6500대 조건이지만 기기 관찰·업로드 수집 기간이 다르므로 같은 기간의 단순 참여율 비교로 읽으면 안 된다. 기존 시스템에서 기여하지 못한 기기 중 2050만 대는 작업을 받지 못했고 650만 대는 중단으로 완료하지 못했지만, 새 시스템에서는 업로드 준비 작업이 크게 줄어 중단으로 인한 실패가 드물었다.

프라이버시-유틸리티 곡선도 유리하게 이동했다. 영어 모델 실험에서 두 시스템 모두 코호트 크기 6500으로 MF-DP-FTRL을 사용했다. 기존 시스템은 노이즈 배율 7.38로 8616라운드를 85일 동안 학습했고, 기기는 144시간마다 참여할 수 있었다. 새 시스템은 목표 zCDP 0.232를 설정했고, 5000라운드에서 필요한 노이즈 배율은 5.16으로 결정되었다. 동일한 zCDP 0.232를 기존 시스템에서 달성하려면 노이즈 배율이 9.54로 훨씬 높아야 했다. 이러한 차이는 참여 패턴 최적화에서 비롯되었다. 기존 시스템의 maxP(단일 기기의 최대 참여 라운드 수)는 8, minSep(참여 간 최소 라운드 간격)은 561이었지만, 새 시스템에서는 maxP=3, minSep=1822로 개선되었다.

실제 A/B 테스트는 각 실험군에 기기 350만 대를 포함했다. Gboard 영어 타이핑 디코더 모델을 새 시스템으로 학습한 결과, 기존 프로덕션 모델 대비 약 3분의 1의 프라이버시 예산(zCDP 0.215 vs 0.641; 같은 MF-DP-FTRL 방식으로 환산한 비교)으로 분당 단어 수(WPM)와 단어 수정 비율(WMR) 같은 핵심 사용성 지표에서 중립적인 성능을 유지했다. 학습 시간은 기존 2개월에서 3주로 단축되었다.

구체적인 예시

논문의 부록에는 Python 프로그램 API의 동작을 보여주는 예시가 포함되어 있다. 이것은 인터페이스 설명용 코드이며, 아래 임의 노이즈를 실제 Gboard 학습의 DP 보장으로 해석하면 안 된다. 이 예시 프로그램은 각 라운드에서 사용 가능한 데이터 중 무작위로 클라이언트를 선택하고, 사이드로딩된 proto 정의를 사용해 데이터를 파싱한 후, 추출된 값을 누적 합계에 더한다. 그런 다음 누적 합계에 -10에서 10 사이의 무작위 정수 노이즈를 더해 공개하고, 라운드 인덱스와 누적 합계를 암호화된 복구 정보로 저장한다.

접근 정책의 예시도 제시된다. 접근 정책에는 실행이 허용된 Python 프로그램이 인라인으로 포함되며, 루트 및 워커 컨테이너의 바이너리 해시도 포함된다. 프로그램 내에는 최대 허용 zCDP 값(예: 0.58)이 하드코딩되어 있어, 계산된 zCDP가 이 값을 초과하면 프로그램이 오류를 발생시킨다. 이렇게 함으로써 외부 감사자는 공개된 접근 정책을 보고 어떤 코드가 실행되는지, 어떤 프라이버시 보장이 적용되는지 확인할 수 있다.

한계와 오해하기 쉬운 점

이 시스템이 '완전한 증명'을 제공하는 것은 아니다. 논문 제목의 'Toward provably private'가 암시하듯, 현재 세대 TEE는 부채널 공격(side-channel attacks)에 취약할 수 있다. 사이드로딩된 독점 로직은 외부 감사자가 코드를 직접 볼 수 없으므로, 감사자는 해당 로직이 DP 보장을 유지하는 방식으로 사용된다는 것을 프로그램의 다른 부분을 통해 추론해야 한다. 논문은 향후 TEE 하드웨어와 부채널 완화 연구가 동적으로 로드된 워크로드에 대한 더 깊은 보호를 제공할 것으로 기대한다고 밝히고 있다.

또한 업로드된 데이터의 TTL(Time-To-Live)은 KMS에 의해 '최선 노력(best-effort)'으로 시행된다. 즉, 특정 기간이 지나면 어떤 TEE도 데이터를 복호화할 수 없도록 하는 것이 목표이지만, 이것이 절대적인 보장은 아니다. 실험 결과에서도 새 시스템의 기기 커버리지 개선은 업로드 수집 기간과 TTL 간의 균형에 의존한다. 예를 들어, 30일 TTL의 키로 암호화된 데이터를 6일 동안 수집한 후 학습을 시작하면, 프로그램은 24일 동안만 출력을 생성할 수 있다. 따라서 더 많은 업로드를 기다리면 학습 시간이 줄어드는 트레이드오프가 있다.

실제로 어떻게 활용할까

이 시스템은 이미 Gboard에 배포되어 영어와 일본어 다음 단어 예측 모델을 학습하는 데 사용되고 있다. 학습 속도가 빨라져 모델 개선 주기가 단축되었고, 더 작은 프라이버시 예산으로 동등한 성능을 달성할 수 있게 되었다. 이는 사용자에게 더 강한 프라이버시 보장을 제공하면서도 타이핑 경험을 유지할 수 있음을 의미한다.

향후에는 더 큰 모델을 학습하기 위해 TEE와 GPU 같은 가속기를 통합하는 방안이 연구되고 있다. 현재까지는 최대 1000만 파라미터 모델을 학습했지만, GPU를 활용하면 더 큰 모델도 가능할 것으로 기대된다. 또한 이 인프라는 연합 학습뿐만 아니라 합성 데이터 생성, LLM 추론 등 임의의 Python 워크로드에도 사용될 수 있다. 논문은 파이프라인 운영자가 어떤 업로드가 각 라운드에 사용되는지 관찰할 수 없도록 하면 샘플링에 의한 프라이버시 증폭을 통해 추가적인 프라이버시-유틸리티 개선이 가능할 것이라고 제안한다.