9-3. 가중치 초기화 (Weight Initialization): Xavier, He 초기화

1. 가중치 초기화의 중요성

딥러닝 모델의 성능은 모델 아키텍처, 학습 데이터, 최적화 알고리즘 등 다양한 요소에 의해 결정됩니다. 그중에서도 가중치 초기화는 학습 과정의 안정성과 수렴 속도에 지대한 영향을 미치는 매우 중요한 요소입니다. 초기 가중치가 적절하게 설정되지 않으면, 학습 과정에서 기울기 소실(vanishing gradient) 또는 기울기 폭주(exploding gradient) 문제가 발생하여 모델이 제대로 학습되지 못할 수 있습니다.

가중치 초기화는 딥러닝 모델을 처음 훈련시키기 전에 각 가중치에 할당되는 초기 값을 설정하는 과정을 의미합니다. 초기 가중치 값은 학습 초반 기울기의 크기와 방향을 결정하며, 이는 학습 전체의 흐름을 좌우합니다. 초기 가중치가 너무 크면 활성화 값들이 포화되어 기울기가 0에 가까워지는 기울기 소실 문제가 발생할 수 있으며, 반대로 너무 작으면 활성화 값들이 0에 수렴하여 학습이 제대로 진행되지 않을 수 있습니다.

딥러닝 모델에서 각 층의 활성화 값은 이전 층의 가중치, 입력, 그리고 활성 함수에 의해 결정됩니다. 따라서 가중치 초기화는 각 층의 활성화 값의 초기 분포를 결정하며, 이는 학습의 초기 단계에서 중요한 영향을 미칩니다.

2. 기울기 소실 및 폭주 문제

딥러닝 모델의 학습은 경사 하강법(gradient descent)을 기반으로 이루어집니다. 경사 하강법은 손실 함수(loss function)의 기울기를 계산하여, 손실을 최소화하는 방향으로 가중치를 업데이트하는 방식입니다. 하지만, 가중치 초기화가 잘못되면 학습 과정에서 다음과 같은 문제가 발생할 수 있습니다.

1) 기울기 소실 (Vanishing Gradient)

기울기 소실 문제는 가중치가 너무 작게 초기화되었을 때 발생합니다. 역전파 과정에서 기울기가 반복적으로 곱해지면서, 기울기 값이 0에 가까워져 앞단으로 갈수록 기울기가 소실되는 현상입니다. 이로 인해 앞단의 층들은 거의 학습되지 않고, 모델 전체의 성능이 저하됩니다.

2) 기울기 폭주 (Exploding Gradient)

기울기 폭주 문제는 가중치가 너무 크게 초기화되었을 때 발생합니다. 역전파 과정에서 기울기가 반복적으로 곱해지면서, 기울기 값이 지나치게 커지는 현상입니다. 이로 인해 가중치가 불안정하게 업데이트되어 학습이 발산하거나, NaN과 같은 오류가 발생하여 학습이 중단될 수 있습니다.

3. Xavier 초기화

Xavier 초기화는 2010년 Xavier Glorot과 Yoshua Bengio에 의해 제안된 가중치 초기화 방법입니다. Xavier 초기화는 각 층의 활성화 값의 분산(variance)이 학습 과정에서 일정하게 유지되도록 설계되었습니다. 특히, 시그모이드(sigmoid)나 하이퍼볼릭 탄젠트(tanh)와 같이 활성 함수의 출력 범위가 제한적인 경우에 효과적입니다.

1) Xavier 초기화의 원리

Xavier 초기화의 핵심 아이디어는 각 층의 활성화 값과 기울기의 분산을 동일하게 유지하는 것입니다. 이를 위해 Xavier 초기화는 가중치를 다음과 같은 정규 분포 또는 균등 분포로부터 샘플링합니다.

• 정규 분포 (Normal Distribution):

  $$W \sim \mathcal{N}\left(0, \frac{2}{n_{in} + n_{out}}\right)$$

  여기서 $n_{in}$은 이전 층의 뉴런 수, $n_{out}$은 현재 층의 뉴런 수입니다.

• 균등 분포 (Uniform Distribution):

  $$W \sim U\left[-\sqrt{\frac{6}{n_{in} + n_{out}}}, \sqrt{\frac{6}{n_{in} + n_{out}}}\right]$$

  균등 분포를 사용할 경우, 가중치는 위 범위 내에서 균등하게 샘플링됩니다.

2) Xavier 초기화의 장점

• 활성화 값의 안정적인 분산 유지: Xavier 초기화는 각 층의 활성화 값의 분산을 안정적으로 유지하여 기울기 소실 및 폭주 문제를 완화합니다.
• 빠른 학습 속도: 분산이 안정적으로 유지되므로 학습 속도가 향상될 수 있습니다.
• 시그모이드/tanh 활성 함수에 적합: 시그모이드나 tanh와 같이 출력 범위가 제한적인 활성 함수와 함께 사용할 때 좋은 성능을 보입니다.

3) Xavier 초기화의 단점

• ReLU 활성 함수에 부적합: ReLU(Rectified Linear Unit) 활성 함수는 양수 영역에서는 기울기가 1이고 음수 영역에서는 0이므로, Xavier 초기화를 사용하면 활성화 값의 분산이 감소하여 학습이 제대로 이루어지지 않을 수 있습니다.

4. He 초기화

He 초기화는 2015년 He et al.에 의해 제안된 가중치 초기화 방법입니다. He 초기화는 ReLU와 같은 활성 함수를 사용할 때 더 효과적으로 설계되었습니다. Xavier 초기화와 마찬가지로, He 초기화는 각 층의 활성화 값의 분산을 유지하여 학습의 안정성을 확보합니다.

1) He 초기화의 원리

He 초기화는 ReLU 활성 함수의 특성을 고려하여, 가중치를 다음과 같은 정규 분포 또는 균등 분포로부터 샘플링합니다.

• 정규 분포 (Normal Distribution):

  $$W \sim \mathcal{N}\left(0, \frac{2}{n_{in}}\right)$$

  여기서 $n_{in}$은 이전 층의 뉴런 수입니다. Xavier 초기화와는 달리, $n_{out}$이 아닌 $n_{in}$을 사용합니다.

• 균등 분포 (Uniform Distribution):

  $$W \sim U\left[-\sqrt{\frac{6}{n_{in}}}, \sqrt{\frac{6}{n_{in}}}\right]$$

  균등 분포를 사용할 경우, 가중치는 위 범위 내에서 균등하게 샘플링됩니다.

2) He 초기화의 장점

• ReLU 활성 함수에 적합: ReLU 활성 함수와 함께 사용할 때, 활성화 값의 분산을 적절하게 유지하여 기울기 소실 문제를 효과적으로 방지합니다.
• 빠른 학습 속도: ReLU를 사용할 때 학습 속도를 향상시킬 수 있습니다.
• 더 깊은 모델 학습 가능: He 초기화는 더 깊은 딥러닝 모델의 학습을 가능하게 합니다.

3) He 초기화의 단점

• 다른 활성 함수에는 성능 저하: ReLU가 아닌 다른 활성 함수, 예를 들어 시그모이드나 tanh를 사용할 경우, 성능이 저하될 수 있습니다.

5. Xavier와 He 초기화 비교

6. 가중치 초기화 방법 선택 요약

가중치 초기화 방법을 선택할 때는 다음과 같은 사항을 고려해야 합니다.

1. 활성 함수의 종류: ReLU 계열 활성 함수를 사용한다면 He 초기화를, 시그모이드나 tanh를 사용한다면 Xavier 초기화를 사용하는 것이 일반적입니다.

2. 모델의 깊이: 깊은 모델을 학습할 경우, He 초기화가 기울기 소실 문제를 완화하는 데 더 효과적일 수 있습니다.

3. 데이터의 특성: 데이터의 특성에 따라 초기화 방법의 성능이 달라질 수 있습니다. 예를 들어, 데이터의 분산이 크거나 작은 경우, 가중치 초기화의 분산을 적절히 조절해야 할 수 있습니다.

4. 실험: 실제로 다양한 초기화 방법을 시도해보고, 검증 데이터셋에 대한 성능을 비교하여 가장 적합한 방법을 선택하는 것이 좋습니다.

7. 가중치 초기화 구현 예시 (PyTorch)

PyTorch에서는 torch.nn.init 모듈을 사용하여 다양한 가중치 초기화를 쉽게 구현할 수 있습니다. 다음은 Xavier 초기화와 He 초기화를 사용하는 예시 코드입니다.

import torch
import torch.nn as nn

# 모델 정의
class MyModel(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(MyModel, self).__init__()
        self.fc1 = nn.Linear(input_size, hidden_size)
        self.relu = nn.ReLU() # He 초기화를 위해 ReLU 사용
        self.fc2 = nn.Linear(hidden_size, output_size)

    def forward(self, x):
        x = self.fc1(x)
        x = self.relu(x)
        x = self.fc2(x)
        return x

# 모델 인스턴스 생성
input_size = 10
hidden_size = 20
output_size = 5
model = MyModel(input_size, hidden_size, output_size)

# 1. Xavier 초기화
def xavier_init(m):
    if isinstance(m, nn.Linear):
        nn.init.xavier_uniform_(m.weight) # 균등 분포
        # nn.init.xavier_normal_(m.weight) # 정규 분포
        nn.init.zeros_(m.bias) # bias는 0으로 초기화

# 모델의 모든 레이어에 Xavier 초기화 적용
model.apply(xavier_init)
print("Xavier Initialization 적용")

# 2. He 초기화
def he_init(m):
    if isinstance(m, nn.Linear):
        nn.init.kaiming_uniform_(m.weight, mode='fan_in', nonlinearity='relu') # 균등 분포
        # nn.init.kaiming_normal_(m.weight, mode='fan_in', nonlinearity='relu') # 정규 분포
        nn.init.zeros_(m.bias)

# 모델의 모든 레이어에 He 초기화 적용
model.apply(he_init)
print("He Initialization 적용")

위 코드에서 nn.init.xavier_uniform_와 nn.init.kaiming_uniform_는 각각 Xavier 초기화와 He 초기화를 수행합니다. mode='fan_in'은 입력 층의 뉴런 수를, nonlinearity='relu'는 ReLU 활성 함수를 사용함을 의미합니다.

8. 주의사항 및 트러블슈팅

1) 초기화 범위 조절

Xavier, He 초기화는 각각의 공식에 따라 가중치를 초기화하지만, 학습 데이터의 특성이나 모델의 구조에 따라 초기화 범위를 조절해야 할 수도 있습니다. 예를 들어, 데이터의 분산이 너무 크거나 작으면 초기화 범위를 조정하여 학습 안정성을 높일 수 있습니다.

2) 배치 정규화(Batch Normalization)와의 상호 작용

배치 정규화는 각 층의 활성화 값의 분포를 정규화하여 학습을 안정화하는 기법입니다. 배치 정규화는 가중치 초기화와 함께 사용될 때 더욱 효과적입니다. 특히, 배치 정규화가 사용된 모델에서는 Xavier나 He 초기화가 더욱 좋은 성능을 보일 수 있습니다.

3) 학습률(Learning Rate)과의 관계

가중치 초기화는 학습률과 밀접한 관련이 있습니다. 초기 가중치가 적절하게 설정되면, 더 큰 학습률을 사용할 수 있어 학습 속도를 향상시킬 수 있습니다. 하지만, 가중치 초기화가 불안정하면 학습률을 작게 설정해야 할 수도 있습니다.

9. 결론

가중치 초기화는 딥러닝 모델의 성공적인 학습을 위한 중요한 요소입니다. Xavier 초기화와 He 초기화는 널리 사용되는 방법으로, 활성 함수의 종류에 따라 적절한 방법을 선택하는 것이 중요합니다. 또한, 배치 정규화, 학습률 등 다른 하이퍼파라미터와의 상호 작용을 고려하여, 모델의 성능을 최적화해야 합니다. 궁극적으로, 다양한 초기화 방법을 실험해보고, 검증 데이터를 통해 최적의 설정을 찾는 것이 중요합니다.