확산 이미지 모델에 작은 제어기를 붙여 원하는 결과로 유도하기

배경과 문제

텍스트-이미지 생성 모델은 '선글라스를 쓴 도마뱀' 같은 문장을 주면 사실적인 이미지를 만들 수 있지만, 프롬프트의 세부 조건을 정확히 반영하는 것은 여전히 어렵다. 예를 들어 모델이 도마뱀은 그럴듯하게 그리되 선글라스를 빠뜨리거나, 선글라스를 억지로 넣으려다 도마뱀의 얼굴이 왜곡되는 경우가 있다. 이는 생성 과정에서 프롬프트 충실도와 이미지 품질 사이의 균형을 잡는 문제로, 기존에는 추론 시점의 가이던스 기법과 학습 시점의 파인튜닝 기법이 서로 분리된 채 사용되어 왔다.

연구자들은 이 문제를 '제어'의 관점에서 재정의했다. 이미지 생성은 무작위 노이즈에서 시작해 점차 선명한 그림으로 다듬어 가는 연속적인 과정인데, 기존 방법들은 이 과정의 각 단계를 독립적으로 다루거나 모델 내부를 직접 수정해야 했다. Diffusion Controller는 이 전체 과정을 하나의 부드러운 제어 문제로 보고, 사전 학습된 모델의 기본 동작을 유지하면서 사용자가 원하는 방향으로 생성 궤적을 조정하는 수학적 틀을 제시한다.

기존 접근의 한계

기존의 제어 방법은 크게 두 갈래로 나뉜다. 하나는 추론 시점에 텍스트 프롬프트의 영향력을 조절하는 '분류기 없는 확산 가이던스(CFG)' 같은 기법이고, 다른 하나는 LoRA처럼 모델 내부에 작은 어댑터를 삽입해 파인튜닝하는 방식이다. 전자는 모델을 바꾸지 않지만 세밀한 제어가 어렵고, 후자는 모델 내부 접근 권한이 필요하며 과도한 수정 시 이미지 품질이 떨어질 수 있다.

이 두 접근법은 서로 다른 목적 함수와 휴리스틱에 의존해 왔기 때문에, 어떤 방법이 어떤 상황에서 효과적인지 통일된 언어로 분석하기 어려웠다. 특히 실제 서비스에서 사용되는 최고 성능 모델은 기업 비밀로 공개되지 않는 경우가 많아, 내부 가중치를 수정하는 화이트박스 방식은 적용 자체가 불가능할 수 있다. Diffusion Controller는 이러한 단절을 해소하고, 접근이 제한된 '그레이박스' 환경에서도 동작하는 원리적 해법을 목표로 한다.

연구방법을 단계별로

Diffusion Controller의 핵심 아이디어는 확산 모델의 역방향 샘플링 과정을 '선형적으로 풀 수 있는 마르코프 결정 과정(LS-MDP)'이라는 제어 문제로 재해석하는 것이다. 기존 강화학습 기반 파인튜닝은 각 단계의 상태와 행동을 명시적으로 정의했지만, 이 연구에서는 행동을 도입하지 않고 사전 학습된 전이 커널 자체를 재가중치 부여하여 제어한다. 이때 제어로 인한 변화가 너무 크지 않도록 f-발산이라는 비용 항을 추가해, 보상 극대화와 사전 학습 모델과의 근접성 사이에서 균형을 잡는다.

이 이론적 틀에서 최적의 점수 함수(노이즈 예측기)는 '고정된 사전 학습 모델 + 가벼운 제어 보정 항'으로 분해된다는 사실이 유도된다. 이는 곧 백본 모델을 얼려 두고, 중간 디노이징 출력(예: 역방향 평균)을 입력으로 받는 작은 사이드 네트워크만 학습시키는 파라미터화로 이어진다. 사이드 네트워크는 스칼라 게이트와 보정 벡터를 출력하며, 이 구조는 랜덤 푸리에 특징을 이용한 이론적 근사에서 동기를 얻었다.

실용적인 학습 알고리즘으로는 두 가지가 제시된다. 첫째는 정책 경사법과 PPO로, 보상 신호에 따라 생성 궤적을 점진적으로 조정하되 클리핑 규칙으로 급격한 변화를 막는다. 둘째는 보상 가중 손실(RWL)로, 최종 이미지의 보상을 가중 함수로 변환해 학습 샘플의 영향력을 정하는 최적화 경로다. 논문은 다항식·지수형 가중치를 다루므로 원래 보상 점수에 단순 비례하는 방식은 아니다. 이 두 방법은 모두 최종 보상 점수만 있으면 되므로, 목표 이미지 쌍이 없는 강화학습 파인튜닝 환경에 적합하다.

결과와 숫자의 의미

실험은 Stable Diffusion v1.4를 백본으로 사용하고, 인간 선호도 점수(HPS-v2)를 기준으로 세 가지 파인튜닝 방식(SFT, RWL, PPO)에서 평가했다. 그레이박스 Diffusion Controller의 사전 학습 모델 대비 HPS-v2 자동 평가 승률은 SFT 0.6667, RWL 0.6815, PPO 0.6957이었다. 각각 학습 1,000·2,000·2,400단계의 결과이며, 제어기 계열은 시험한 가이던스 강도 중 각 체크포인트에서 가장 높은 승률을 보고했다. 이는 같은 환경의 단순한 사이드 네트워크(DiffCon-Naive)보다 훨씬 높고, 화이트박스 방식인 LoRA(SFT 0.5766, RWL 0.6109)보다도 우수한 수치다. 특히 Diffusion Controller의 학습 파라미터 수는 약 1.2천만 개로 LoRA의 약 1.7천만 개보다 적다.

화이트박스 환경에서는 Diffusion Controller와 LoRA를 공동 학습한 DiffCon-J의 사전 학습 모델 대비 자동 평가 승률이 PPO에서 0.9353이었고, LoRA 단독의 같은 기준 승률은 0.9048이었다. 즉 93.53%는 LoRA와 직접 비교한 승률이나 사람이 선택한 비율을 뜻하지 않는다. 이는 완전한 접근 권한이 있을 때도 제어 네트워크를 추가하는 것이 효과적임을 보여준다. 또한 CLIP, CLIP-Aesthetics, PickScore 같은 보조 지표에서도 큰 손실이 없어, 프롬프트 정렬 개선이 이미지 품질 저하를 동반하지 않았음을 확인했다.

추론 시점에는 사이드 네트워크의 가이던스 강도 파라미터 하나만 조절하면 제어 강도를 부드럽게 바꿀 수 있다. 예를 들어 SFT와 RWL에서는 이 값을 키울수록 성능이 향상되는 경향이 있었고, 이는 기존 가이던스 기법에서 나타나는 이미지 왜곡 없이 프롬프트 정렬을 세밀하게 조절할 수 있음을 시사한다.

구체적인 예시

블로그에서 든 '선글라스를 쓴 도마뱀' 예시는 Diffusion Controller의 작동 방식을 직관적으로 보여준다. 사전 학습 모델은 도마뱀은 잘 그리지만 선글라스를 빠뜨리거나, 선글라스를 넣으려다 도마뱀의 비늘과 비율을 망가뜨릴 수 있다. Diffusion Controller는 스티어링 댐퍼처럼 생성 과정에 개입해 선글라스가 포함되도록 유도하되, 페널티 가드레일이 작동하여 도마뱀의 자연스러운 외형이 왜곡되지 않도록 막는다.

논문의 정성적 비교 표에는 '검은 양복을 입고 시가를 피우는 고양이', '스파게티를 먹는 파랑어치' 같은 복합 속성 프롬프트가 포함되어 있다. Diffusion Controller는 이러한 여러 조건이 얽힌 프롬프트에서도 사전 학습 모델이나 LoRA보다 프롬프트의 세부 요소를 더 정확하게 반영하면서도 이미지 품질을 유지하는 결과를 보여주었다.

한계와 오해하기 쉬운 점

이 연구의 실험은 Stable Diffusion v1.4라는 특정 백본과 HPS-v2라는 특정 보상 모델에 국한되어 있다. 따라서 다른 규모의 모델이나 다른 유형의 보상 함수에서도 동일한 성능 향상이 보장되는 것은 아니다. 또한 HPS-v2 승률은 자동 평가 지표이므로, 실제 인간의 미적 판단과 완전히 일치하지 않을 수 있다. 논문에서는 PPO에 한해 50명 이상의 인간 평가자를 대상으로 한 실험을 진행했지만, SFT와 RWL에 대해서는 인간 평가 결과가 제시되지 않았다.

Diffusion Controller가 '비공개 모델에도 적용 가능하다'는 주장은 그레이박스 환경, 즉 중간 디노이징 출력에 접근할 수 있다는 전제에 의존한다. 완전한 블랙박스처럼 최종 이미지만 반환하는 API에는 적용할 수 없다. 또한 이 연구는 텍스트-이미지 생성에 초점을 맞추고 있어, 비디오 생성이나 다른 생성 작업으로의 일반화는 향후 과제로 남아 있다. 원문에서 확인할 수 없는 세부 구현 조건이나 다른 데이터셋에서의 성능은 추측하지 말아야 한다.

실제로 어떻게 활용할까

Diffusion Controller의 가장 큰 실용적 장점은 접근이 제한된 상용 모델에도 부착할 수 있다는 점이다. 기업이 자체 모델의 내부 가중치를 공개하지 않더라도, 중간 노이즈 예측값만 제공한다면 외부에서 가벼운 사이드 네트워크를 학습시켜 원하는 스타일이나 콘텐츠 정렬을 강화할 수 있다. 설명용 응용 예로 브랜드 가이드라인에 맞춘 이미지 조정이나 안전 필터링을 생각할 수 있다. 이 글의 실험이 그런 응용 모두를 검증한 것은 아니며, 개인화·안전·비디오 제어는 향후 방향으로 제시된다.

추론 시점의 가이던스 강도 조절 기능은 배포 후에도 사용자별로 다른 강도의 제어를 적용할 수 있게 한다. 예를 들어 광고 제작자는 프롬프트 충실도를 높이고, 예술 창작자는 모델의 자유도를 더 허용하는 식으로 같은 파인튜닝된 모델을 다르게 사용할 수 있다. 연구진은 향후 개인화 도구, 유해 콘텐츠 완화를 위한 안전 메커니즘, 비디오 모델 제어로의 확장을 계획하고 있다.