12-4. Deep Q-Network (DQN): 심층 신경망 기반 강화 학습

1. 딥러닝 기반 강화 학습의 새로운 지평: Deep Q-Network (DQN)

강화 학습은 에이전트가 환경과 상호작용하며 보상을 최대화하도록 학습하는 분야입니다. 이전 포스트에서 다룬 Q-Learning은 강화 학습의 핵심 알고리즘 중 하나로, Q-table을 사용하여 각 상태(state)에서 각 행동(action)의 가치(Q-value)를 저장하고 학습했습니다. 하지만 Q-Learning은 몇 가지 심각한 한계를 가지고 있습니다. 특히, 상태 공간(state space)이 크거나, 연속적인 상태 공간을 갖는 문제에서는 Q-table을 효율적으로 관리하기 어렵다는 치명적인 단점이 있습니다. 예를 들어, 바둑이나 비디오 게임처럼 상태의 수가 매우 많은 경우, 모든 상태-행동 쌍에 대한 Q-value를 저장하는 것은 현실적으로 불가능합니다.

DQN(Deep Q-Network)은 이러한 Q-Learning의 한계를 극복하기 위해 심층 신경망(Deep Neural Network)을 도입하여 Q-value를 추정하는 혁신적인 알고리즘입니다. DQN은 Q-table 대신 딥러닝 모델을 사용하여 Q-value를 근사(approximation)함으로써, 더 복잡하고 고차원적인 환경에서도 강화 학습을 가능하게 합니다.

2. DQN의 핵심 원리: Q-Network

DQN의 핵심은 Q-Learning의 Q-table을 딥러닝 모델, 즉 Q-Network으로 대체하는 것입니다. Q-Network은 상태를 입력으로 받아 각 가능한 행동에 대한 Q-value를 출력하는 함수입니다. 이 Q-Network은 일반적으로 다층 퍼셉트론(Multi-Layer Perceptron, MLP)이나 합성곱 신경망(Convolutional Neural Network, CNN)과 같은 딥러닝 모델로 구성됩니다.

1) Q-Network의 구조

Q-Network의 구조는 문제의 특성에 따라 달라질 수 있지만, 기본적인 구조는 다음과 같습니다.

• 입력 레이어(Input Layer): 환경의 상태(state)를 입력으로 받습니다. 상태는 이미지, 텍스트, 센서 값 등 다양한 형태가 될 수 있습니다.
• 은닉 레이어(Hidden Layer): 입력된 상태를 기반으로 특징을 추출하고, 복잡한 비선형 관계를 학습합니다. 은닉 레이어의 수와 각 레이어의 노드 수는 문제의 복잡도와 모델의 성능에 영향을 미칩니다.
• 출력 레이어(Output Layer): 각 가능한 행동(action)에 대한 Q-value를 출력합니다. 출력 레이어의 노드 수는 가능한 행동의 수와 일치합니다.

2) Q-Network의 학습: 손실 함수

Q-Network은 지도 학습(supervised learning) 방식으로 학습됩니다. 즉, 정답(label)과 예측값 간의 오차를 최소화하도록 학습합니다. DQN에서는 Q-Learning의 Bellman 방정식을 사용하여 정답을 계산합니다. 손실 함수(loss function)는 다음과 같이 정의됩니다.

$$ L(\theta) = E[(r + \gamma \max_{a'} Q(s', a'; \theta^-) - Q(s, a; \theta))^2] $$

여기서:

• $\theta$는 Q-Network의 가중치(weight)를 나타냅니다.
• $s$는 현재 상태(state), $a$는 현재 행동(action), $r$은 보상(reward)입니다.
• $s'$는 다음 상태(next state), $a'$는 다음 상태에서 취할 수 있는 행동입니다.
• $\gamma$는 할인율(discount factor)입니다.
• $Q(s, a; \theta)$는 Q-Network가 상태 $s$에서 행동 $a$를 취했을 때 예측하는 Q-value입니다.
• $Q(s', a'; \theta^-)$는 타겟 네트워크(Target Network)가 다음 상태 $s'$에서 각 행동 $a'$에 대해 예측하는 Q-value의 최대값입니다.
• $E[...]$는 기댓값(expectation)을 나타냅니다.

손실 함수는 Q-Network가 예측한 Q-value와 Bellman 방정식으로 계산한 목표 Q-value 간의 오차를 나타냅니다. 이 오차를 최소화하기 위해 경사 하강법(gradient descent)과 같은 최적화 알고리즘을 사용합니다.

3) DQN의 핵심 기법: Experience Replay와 Target Network

DQN은 Q-Learning의 한계를 극복하기 위해 두 가지 핵심 기법을 사용합니다.

• Experience Replay: 에이전트가 환경과 상호 작용하면서 얻은 경험(상태, 행동, 보상, 다음 상태)을 경험 메모리(experience replay memory)에 저장합니다. 학습 시, 경험 메모리에서 무작위로 샘플링된 경험(mini-batch)을 사용하여 Q-Network을 학습합니다.

  • Experience Replay는 데이터의 상관 관계(correlation)를 줄여 학습 안정성을 높입니다. 연속적인 경험은 강한 상관 관계를 갖는 경우가 많지만, 경험 메모리에서 무작위 샘플링을 함으로써 학습 데이터의 분포를 균일하게 만들고, 이전 경험에 대한 과도한 의존성을 방지합니다. 또한, 한 번의 경험을 여러 번 재사용함으로써 데이터 효율성을 높입니다.
  • Target Network: Q-Network와 구조는 동일하지만, 학습 주기 동안 가중치를 고정하여 사용합니다. 즉, 일정 기간 동안 타겟 네트워크의 가중치를 업데이트하지 않고, Q-Network의 가중치를 업데이트할 때마다 타겟 네트워크의 가중치를 복사합니다.
  • Target Network는 학습의 안정성을 향상시킵니다. Bellman 방정식은 Q-value를 추정하는 데 사용되는데, 이 방정식은 Q-value 자체에 의존하는 재귀적인 구조를 가집니다. 따라서 Q-Network의 가중치가 업데이트될 때마다, 예측 Q-value와 목표 Q-value가 모두 변경되어 학습이 불안정해질 수 있습니다. 타겟 네트워크를 사용하면, 목표 Q-value가 Q-Network의 변화에 덜 민감하게 반응하여 학습 안정성을 높일 수 있습니다.

3. DQN 알고리즘의 작동 방식

DQN 알고리즘의 작동 방식은 다음과 같습니다.

1. 초기화: Q-Network과 타겟 네트워크의 가중치를 무작위로 초기화하고, 경험 메모리를 비웁니다.
2. 상태 관찰: 환경으로부터 초기 상태 $s$를 관찰합니다.
3. 행동 선택: Q-Network을 사용하여 현재 상태 $s$에서 각 행동에 대한 Q-value를 예측합니다. 일반적으로 $\epsilon$-greedy 정책을 사용하여 행동을 선택합니다. 즉, 확률 $\epsilon$로 무작위 행동을 선택하고, 확률 $1-\epsilon$로 Q-value가 가장 높은 행동을 선택합니다.
4. 행동 실행 및 보상 획득: 선택된 행동 $a$를 환경에서 실행하고, 보상 $r$과 다음 상태 $s'$를 획득합니다.
5. 경험 저장: 경험 $(s, a, r, s')$을 경험 메모리에 저장합니다.
6. 경험 샘플링: 경험 메모리에서 무작위로 mini-batch를 샘플링합니다.
7. 타겟 Q-value 계산: 타겟 네트워크를 사용하여 다음 상태 $s'$에서 각 행동에 대한 Q-value를 예측하고, Bellman 방정식을 사용하여 타겟 Q-value를 계산합니다.
8. 손실 계산: Q-Network가 예측한 Q-value와 타겟 Q-value 간의 손실을 계산합니다.
9. 가중치 업데이트: 손실을 최소화하도록 Q-Network의 가중치를 업데이트합니다.
10. 타겟 네트워크 업데이트: 일정 주기마다 타겟 네트워크의 가중치를 Q-Network의 가중치로 업데이트합니다.
11. 반복: 2-10단계를 반복합니다.

4. DQN의 응용 사례

DQN은 다양한 환경에서 성공적으로 적용되어 왔습니다. 특히, Atari 게임 환경에서 인간 수준의 성능을 달성하여 강화 학습 분야의 혁신을 이끌었습니다.

• Atari 게임: DQN은 Space Invaders, Breakout, Pong 등 다양한 Atari 게임에서 인간보다 뛰어난 성능을 보였습니다. 픽셀 단위의 입력(raw pixel)을 직접 입력으로 받아들여 학습하는 것이 특징입니다.
• 로봇 제어: DQN은 로봇 팔의 제어, 자율 주행 등 다양한 로봇 제어 문제에 적용될 수 있습니다.
• 게임 플레이: DQN은 바둑, 체스, 스타크래프트와 같은 복잡한 게임에서 훌륭한 성과를 거두었습니다.

5. DQN의 주의사항과 개선된 알고리즘

DQN은 Q-Learning의 한계를 극복했지만, 여전히 몇 가지 단점을 가지고 있습니다.

• 과대 평가(Overestimation) 문제: DQN은 Q-value를 추정할 때, 최대 Q-value를 선택하는 과정에서 과대 평가하는 경향이 있습니다. 이는 학습의 불안정성을 야기할 수 있습니다.
• 수렴 불안정성: DQN은 딥러닝 모델을 사용하기 때문에, 학습 과정에서 수렴이 불안정할 수 있습니다.
• 하이퍼파라미터 튜닝: DQN은 다양한 하이퍼파라미터(예: 학습률, 할인율, 경험 메모리 크기)에 민감하며, 최적의 성능을 위해서는 적절한 튜닝이 필요합니다.

이러한 단점을 보완하기 위해 여러 개선된 DQN 알고리즘이 개발되었습니다.

• Double DQN: 과대 평가 문제를 해결하기 위해, 두 개의 Q-Network을 사용하여 행동 선택과 Q-value 평가를 분리합니다.
• Dueling DQN: Q-Network을 가치 함수(V-value)와 장점 함수(Advantage function)로 분리하여 학습합니다. 가치 함수는 현재 상태의 가치를, 장점 함수는 각 행동이 현재 상태에서 갖는 상대적인 가치를 나타냅니다.
• Prioritized Experience Replay: 경험 메모리에서 샘플링할 때, 손실의 크기에 따라 우선순위를 부여하여, 중요한 경험을 더 자주 샘플링합니다.

이러한 개선된 알고리즘들은 DQN의 성능과 안정성을 더욱 향상시키고, 강화 학습의 적용 범위를 넓히는 데 기여했습니다.

6. 결론

DQN은 딥러닝을 활용하여 강화 학습의 새로운 지평을 연 획기적인 알고리즘입니다. Q-Learning의 한계를 극복하고, 복잡한 환경에서도 학습할 수 있는 능력을 보여주었습니다. Experience Replay와 Target Network와 같은 핵심 기법은 DQN의 학습 안정성을 높이는 데 중요한 역할을 합니다. DQN은 Atari 게임, 로봇 제어, 게임 플레이 등 다양한 분야에서 성공적으로 적용되었으며, 앞으로 더욱 발전된 알고리즘과 함께 다양한 문제 해결에 기여할 것으로 기대됩니다.