2026-01-08 | 7 min read | 129 | VAE Variational Autoencoder 생성 모델 확률 모델 신경망

8-2. Variational Autoencoder (VAE): 확률 모델 기반의 생성 모델

1. Variational Autoencoder (VAE)의 등장 배경과 개념

오토인코더(Autoencoder, AE)는 입력 데이터를 압축하고 다시 복원하는 과정에서 특징을 학습하는 비지도 학습 모델입니다. 이를 통해 데이터의 차원을 축소하거나, 노이즈를 제거하는 등의 작업을 수행할 수 있습니다. 앞선 포스트에서 Autoencoder에 대해 다루었지만, AE는 몇 가지 한계를 가지고 있습니다. 특히, AE는 잠재 공간(latent space)을 학습하지만, 이 공간이 연속적이지 않고 불연속적인 특징을 보일 수 있다는 점이 문제입니다. 즉, 잠재 공간 상에서 두 점을 임의로 선택했을 때, 이 두 점 사이를 부드럽게 연결하는 새로운 데이터를 생성하기 어려울 수 있습니다. 이는 생성 모델로서 AE의 활용성을 제한하는 요인입니다.

VAE는 이러한 AE의 단점을 극복하기 위해 제안된 확률 모델 기반의 생성 모델입니다. VAE는 잠재 공간을 확률 분포로 모델링하여, 잠재 공간 내에서 부드럽고 연속적인 데이터 생성을 가능하게 합니다.

1) 확률 모델 기반의 잠재 공간

VAE의 핵심 아이디어는 잠재 공간을 특정 확률 분포, 일반적으로 정규 분포(Gaussian distribution)로 가정하는 것입니다. 각 데이터 포인트는 잠재 공간 상의 특정 위치에 대응되며, 이 위치는 평균과 분산으로 표현되는 정규 분포에서 샘플링됩니다. 이러한 확률적 접근 방식은 잠재 공간을 더욱 유연하고 활용성 있게 만듭니다.

2) VAE의 목표: 데이터 분포 학습

VAE의 목표는 훈련 데이터의 실제 분포를 학습하고, 새로운 데이터를 생성하는 것입니다. 이를 위해 VAE는 두 가지 주요 역할을 수행합니다.

인코더(Encoder): 입력 데이터를 잠재 공간의 확률 분포로 변환합니다. 인코더는 입력 데이터를 받아 평균과 분산을 예측합니다.
디코더(Decoder): 잠재 공간에서 샘플링된 값을 입력으로 받아, 원래 데이터와 유사한 데이터를 생성합니다.

VAE는 인코더와 디코더를 통해 입력 데이터를 압축하고 복원하는 과정에서 데이터의 특징을 학습하며, 잠재 공간을 활용하여 새로운 데이터를 생성합니다.

VAE 구조 설명 뒤

2. VAE의 구조와 작동 원리

VAE는 크게 인코더, 잠재 공간, 디코더의 세 부분으로 구성됩니다. 각 부분의 작동 원리를 자세히 살펴보겠습니다.

1) 인코더 (Encoder)

인코더는 입력 데이터 $x$를 잠재 공간의 확률 분포로 변환하는 역할을 합니다. 일반적으로, 인코더는 입력 $x$를 받아서 잠재 변수 $z$의 평균 $\mu$와 분산 $\sigma^2$를 예측합니다. 잠재 변수 $z$는 평균 $\mu$와 분산 $\sigma^2$를 모수로 갖는 정규 분포 $N(\mu, \sigma^2)$에서 샘플링됩니다.

수식으로 표현하면 다음과 같습니다.

$$ \mu, \sigma = Encoder(x) $$

$$ z \sim N(\mu, \sigma^2) $$

여기서 $Encoder$는 신경망 모델이며, $\mu$와 $\sigma$는 각각 잠재 변수 $z$의 평균과 표준 편차를 의미합니다.

2) 잠재 공간 (Latent Space)

잠재 공간은 VAE의 핵심 부분입니다. 인코더에 의해 생성된 평균 $\mu$와 분산 $\sigma^2$는 잠재 공간 내에서 각 데이터 포인트의 위치와 분포를 결정합니다. VAE는 잠재 공간을 확률 분포로 모델링하기 때문에, 잠재 공간 상에서 샘플링된 값들을 사용하여 새로운 데이터를 생성할 수 있습니다.

Reparameterization Trick: VAE를 학습시키는 과정에서 역전파(backpropagation)를 사용하기 위해, 샘플링 과정을 미분 가능하게 만들어야 합니다. 이를 위해 Reparameterization Trick이라는 기술이 사용됩니다. 이 트릭은 잠재 변수 $z$를 평균 $\mu$, 표준 편차 $\sigma$, 그리고 표준 정규 분포 $N(0, 1)$에서 샘플링된 $\epsilon$의 함수로 표현합니다.

$$ z = \mu + \sigma \cdot \epsilon, \quad \epsilon \sim N(0, 1) $$

이렇게 하면, $z$를 샘플링하는 과정은 고정된 분포(표준 정규 분포)에서 샘플링하는 것으로 바뀌고, $\mu$와 $\sigma$는 인코더의 출력으로 결정되므로, 역전파가 가능해집니다.

3) 디코더 (Decoder)

디코더는 잠재 공간에서 샘플링된 잠재 변수 $z$를 입력으로 받아, 원래 데이터 $x$와 유사한 데이터를 생성합니다. 디코더는 잠재 변수 $z$를 입력으로 받아, 원래 데이터의 분포를 나타내는 $\hat{x}$를 예측합니다.

$$ \hat{x} = Decoder(z) $$

여기서 $\hat{x}$는 디코더가 생성한 데이터입니다.

3. VAE의 손실 함수 (Loss Function)

VAE를 학습시키기 위해서는 손실 함수를 정의해야 합니다. VAE의 손실 함수는 두 가지 주요 요소로 구성됩니다.

1) 재구성 손실 (Reconstruction Loss)

재구성 손실은 디코더가 생성한 $\hat{x}$와 실제 입력 데이터 $x$ 간의 차이를 측정합니다. 이는 오토인코더와 유사하게, 모델이 입력 데이터를 얼마나 잘 재구성하는지를 평가합니다. 재구성 손실은 데이터의 종류에 따라 다르게 사용될 수 있습니다. 예를 들어, 이미지 데이터의 경우, 평균 제곱 오차(Mean Squared Error, MSE) 또는 이진 교차 엔트로피(Binary Cross-Entropy, BCE)를 사용할 수 있습니다.

2) KL 발산 (Kullback-Leibler Divergence)

KL 발산은 인코더가 학습한 잠재 공간의 분포와 사전 분포(prior distribution) 간의 차이를 측정합니다. 사전 분포는 일반적으로 표준 정규 분포 $N(0, 1)$로 설정됩니다. KL 발산은 잠재 공간의 분포가 사전 분포와 얼마나 유사한지를 측정하며, 잠재 공간이 정규 분포에 가깝게 유지되도록 합니다. KL 발산은 다음과 같이 정의됩니다.

$$ D_{KL}(q(z|x) || p(z)) = \int q(z|x) \log \frac{q(z|x)}{p(z)} dz $$

여기서 $q(z|x)$는 인코더가 학습한 잠재 변수 $z$의 분포이고, $p(z)$는 사전 분포입니다. VAE에서는 $q(z|x) = N(\mu, \sigma^2)$이고, $p(z) = N(0, 1)$이므로, KL 발산은 다음과 같이 계산될 수 있습니다.

$$ D_{KL}(N(\mu, \sigma^2) || N(0, 1)) = \frac{1}{2} \sum_{i=1}^{k} (\sigma_i^2 + \mu_i^2 - 1 - \log \sigma_i^2) $$

3) 전체 손실 함수

VAE의 전체 손실 함수는 재구성 손실과 KL 발산의 가중 합으로 표현됩니다.

$$ Loss = ReconstructionLoss(x, \hat{x}) + \beta \cdot D_{KL}(q(z|x) || p(z)) $$

여기서 $\beta$는 KL 발산의 가중치를 조절하는 하이퍼파라미터입니다. $\beta$ 값을 조절함으로써, 재구성 품질과 잠재 공간의 정규성을 조절할 수 있습니다.

4. VAE를 활용한 데이터 생성

VAE는 잠재 공간을 확률 분포로 모델링하기 때문에, 잠재 공간을 효과적으로 활용하여 새로운 데이터를 생성할 수 있습니다.

1) 잠재 공간 샘플링

VAE를 사용하여 새로운 데이터를 생성하는 가장 기본적인 방법은 잠재 공간에서 샘플링하는 것입니다. 잠재 공간에서 샘플을 추출하고, 이를 디코더에 입력하여 새로운 데이터를 생성합니다.

사전 분포 $N(0, 1)$에서 랜덤하게 잠재 변수 $z$를 샘플링합니다.
디코더에 샘플링된 $z$를 입력하여 새로운 데이터 $\hat{x}$를 생성합니다.

이러한 방식으로, VAE는 훈련 데이터와 유사한 새로운 데이터를 생성할 수 있습니다.

2) 잠재 공간 보간 (Interpolation)

VAE의 잠재 공간은 연속적이므로, 잠재 공간 내에서 보간(interpolation)을 수행하여 부드러운 변화를 보이는 데이터를 생성할 수 있습니다.

두 개의 입력 데이터 $x_1$과 $x_2$를 인코더에 입력하여, 각각 잠재 변수 $z_1$과 $z_2$를 얻습니다.
잠재 공간에서 $z_1$과 $z_2$ 사이를 선형 보간하여, 중간 잠재 변수 $z_{interp}$를 생성합니다.
$z_{interp}$를 디코더에 입력하여 중간 데이터를 생성합니다.

이러한 방식을 통해, VAE는 두 입력 데이터 사이의 부드러운 변환을 보여주는 데이터를 생성할 수 있습니다. 예를 들어, 얼굴 이미지의 경우, 두 개의 서로 다른 얼굴 이미지를 VAE에 입력하고 잠재 공간에서 보간하면, 두 얼굴의 특징을 부드럽게 혼합한 새로운 이미지를 생성할 수 있습니다.

3) 잠재 공간 조작

VAE는 잠재 공간을 이해하고, 이를 조작하여 특정 속성을 가진 데이터를 생성할 수 있습니다. 예를 들어, 성별, 나이, 표정 등과 같은 속성을 나타내는 잠재 공간의 특정 차원을 식별할 수 있습니다.

훈련 데이터에서 특정 속성을 가진 데이터를 찾습니다.
해당 데이터의 잠재 변수 값을 분석하여, 해당 속성에 해당하는 잠재 공간의 차원을 식별합니다.
잠재 공간에서 해당 차원의 값을 조절하여, 특정 속성을 가진 새로운 데이터를 생성합니다.

이러한 잠재 공간 조작을 통해, VAE는 원하는 속성을 가진 데이터를 생성할 수 있습니다.

5. VAE의 장단점 및 주의사항

1) 장점

연속적인 잠재 공간: 잠재 공간이 연속적이므로, 새로운 데이터를 부드럽게 생성할 수 있으며, 잠재 공간 보간과 같은 기능을 활용할 수 있습니다.
확률적 생성 모델: 확률적 모델이므로, 데이터의 다양성을 잘 표현할 수 있으며, 데이터의 불확실성을 모델링할 수 있습니다.
효율적인 학습: 오토인코더와 유사한 구조를 가지므로, 비교적 효율적으로 학습할 수 있습니다.

2) 단점

흐릿한 이미지 생성: VAE는 일반적으로 GAN에 비해 생성된 이미지의 품질이 낮습니다. 이는 VAE가 잠재 공간의 분포를 정규 분포로 가정하기 때문에 발생할 수 있습니다.
학습의 어려움: KL 발산 항이 학습에 영향을 미쳐, 학습이 불안정해질 수 있습니다.

3) 주의사항

하이퍼파라미터 튜닝: $\beta$ 값과 같은 하이퍼파라미터의 적절한 튜닝이 중요합니다.
잠재 공간의 차원 선택: 잠재 공간의 차원을 적절하게 선택해야 합니다. 차원이 너무 작으면, 모델이 데이터의 특징을 충분히 학습하지 못할 수 있으며, 차원이 너무 크면, 오버피팅이 발생할 수 있습니다.
KL 발산 소멸 (KL vanishing): KL 발산 항의 가중치 $(\beta)$가 너무 크면, 모델이 잠재 공간을 무시하고, 단순히 입력을 복사하는 경향을 보일 수 있습니다. 이는 KL 발산이 0으로 수렴하는 KL 소멸 현상으로 이어집니다.

6. VAE와 Autoencoder의 비교

VAE와 오토인코더(AE)는 모두 차원 축소 및 데이터 생성을 위한 모델이지만, 몇 가지 중요한 차이점을 가지고 있습니다.

특징	VAE	Autoencoder
잠재 공간	확률 분포 (일반적으로 정규 분포)	고정된 벡터
데이터 생성	샘플링 기반, 부드러운 데이터 생성	잠재 벡터를 디코더에 직접 입력
손실 함수	재구성 손실 + KL 발산	재구성 손실
생성된 데이터 품질	일반적으로 GAN보다 낮음	경우에 따라 높을 수 있음
활용	데이터 생성, 이상 감지, 노이즈 제거	차원 축소, 특징 추출, 노이즈 제거
학습 목표	데이터의 확률 분포 학습	데이터의 특징 학습

7. VAE의 응용 사례

VAE는 다양한 분야에서 활용될 수 있습니다.

1) 이미지 생성

VAE는 이미지 생성 모델로 활용될 수 있습니다. 훈련된 VAE는 새로운 이미지를 생성하거나, 기존 이미지의 속성을 조절하는 데 사용될 수 있습니다.

2) 이상 감지

VAE는 이상 감지(Anomaly detection)에 활용될 수 있습니다. 훈련된 VAE는 정상 데이터의 특징을 학습하고, 새로운 데이터가 정상 데이터와 얼마나 다른지를 평가하여 이상 여부를 판단할 수 있습니다. 재구성 손실이 높은 데이터는 이상치로 간주될 수 있습니다.

3) 노이즈 제거

VAE는 이미지나 음성 데이터에서 노이즈를 제거하는 데 사용될 수 있습니다. VAE는 노이즈가 포함된 데이터를 입력으로 받아, 노이즈를 제거한 데이터를 생성합니다.

4) 추천 시스템

VAE는 추천 시스템에서 사용될 수 있습니다. 사용자의 선호도를 잠재 공간에 매핑하고, 잠재 공간에서 유사한 사용자를 찾아, 해당 사용자가 선호하는 항목을 추천할 수 있습니다.

8. 결론

Variational Autoencoder (VAE)는 확률 모델 기반의 생성 모델로서, 잠재 공간을 확률 분포로 모델링하여, 부드럽고 연속적인 데이터를 생성할 수 있습니다. VAE는 이미지 생성, 이상 감지, 노이즈 제거 등 다양한 분야에서 활용될 수 있습니다. VAE는 Autoencoder의 단점을 보완하고, 생성 모델의 성능을 향상시키는 데 기여했습니다. VAE는 딥러닝 분야에서 중요한 모델 중 하나이며, 지속적으로 연구되고 발전하고 있습니다.