12-5. Policy Gradient: 정책 기반 강화 학습

1. 정책 기반 강화 학습의 이해

강화 학습은 에이전트가 환경과 상호작용하며 보상을 최대화하도록 학습하는 분야입니다. 지금까지는 가치 기반 강화 학습, 특히 Q-러닝과 DQN에 대해 살펴보았습니다. 이러한 방법들은 각 상태에서 어떤 행동을 하는 것이 가장 좋은지, 즉 가치 함수를 학습하는 데 초점을 맞추었습니다. 하지만 에이전트가 직접적으로 행동 정책, 즉 정책(policy)을 학습하는 접근 방식도 존재합니다. 이것이 바로 정책 기반 강화 학습(Policy Gradient)입니다.

정책 기반 강화 학습은 에이전트가 환경에서 직접 행동을 선택하는 정책을 최적화합니다. 에이전트는 정책을 통해 특정 상태에서 어떤 행동을 할지 결정하며, 환경으로부터 받는 보상을 바탕으로 정책을 점진적으로 개선합니다. 마치 사람이 경험을 통해 행동 방식을 개선하는 것과 유사합니다.

1) 가치 기반 vs 정책 기반

가치 기반 방법론과 정책 기반 방법론의 가장 큰 차이점은 학습 대상입니다.

• 가치 기반: 가치 함수를 학습합니다. 가치 함수는 특정 상태 또는 상태-행동 쌍의 가치를 추정하며, 이 가치를 바탕으로 최적의 행동을 선택합니다. Q-러닝과 DQN이 대표적인 예시입니다. 가치 기반 방법론은 최적 정책을 얻기 위해 가치 함수를 간접적으로 사용합니다.
• 정책 기반: 정책을 직접 학습합니다. 정책은 주어진 상태에서 어떤 행동을 선택할지에 대한 확률 분포를 나타냅니다. 정책 기반 방법론은 보상을 통해 정책을 직접적으로 개선합니다. REINFORCE 알고리즘이 대표적인 예시입니다.

가치 기반 방법론은 가치 함수를 먼저 학습해야 하므로, 복잡한 환경에서는 효율성이 떨어질 수 있습니다. 반면, 정책 기반 방법론은 직접적으로 정책을 학습하기 때문에, 높은 차원의 행동 공간에서도 효과적으로 작동할 수 있습니다. 또한, 정책 기반 방법론은 확률적 정책(stochastic policy)을 쉽게 구현할 수 있습니다. 이는 에이전트가 탐험(exploration)을 더 효과적으로 수행하고, 다양한 행동을 시도하도록 돕습니다.

2. 정책 경사 상승 (Policy Gradient)

정책 기반 강화 학습의 핵심은 정책 경사 상승(Policy Gradient)입니다. 정책 경사 상승은 정책의 성능을 향상시키는 방향으로 정책 파라미터를 업데이트하는 방법입니다. 즉, 보상을 최대화하는 방향으로 정책을 조정합니다.

1) 정책 파라미터화

정책은 일반적으로 신경망과 같은 함수로 표현됩니다. 이 함수는 상태를 입력으로 받아 각 행동의 확률을 출력합니다. 이러한 함수를 정책 함수라고 하며, 정책 함수의 파라미터를 θ로 나타냅니다. 정책을 파라미터화함으로써, 우리는 파라미터를 조정하여 정책을 개선할 수 있습니다. 정책 함수는 다음과 같이 표현될 수 있습니다.

$$ \pi_{\theta}(a|s) = P(a|s;\theta) $$

여기서 $\pi_{\theta}(a|s)$는 상태 $s$에서 행동 $a$를 선택할 확률을 나타냅니다.

2) 성능 지표 (Objective Function)

정책 경사 상승은 정책의 성능을 측정하는 성능 지표(Objective Function)를 최적화합니다. 성능 지표는 정책이 얼마나 좋은지를 나타내는 척도입니다. 일반적으로, 성능 지표는 에피소드 당 얻는 총 보상의 기댓값입니다. 이를 $J(\theta)$로 나타낼 수 있습니다.

$$ J(\theta) = E[\sum_{t=0}^{T} R_t] $$

여기서 $R_t$는 시간 $t$에서의 보상입니다. 목표는 $J(\theta)$를 최대화하는 것입니다.

3) 정책 경사 계산

정책 경사 상승은 성능 지표 $J(\theta)$의 기울기를 계산하고, 그 기울기의 방향으로 정책 파라미터를 업데이트합니다. 기울기는 다음과 같이 계산됩니다.

$$ \nabla_{\theta} J(\theta) = E_{s \sim \rho_{\pi}, a \sim \pi_{\theta}}[\nabla_{\theta} log \pi_{\theta}(a|s) Q^{\pi}(s, a)] $$

여기서 $\rho_{\pi}$는 정책 $\pi$에 의해 생성된 상태의 분포, $Q^{\pi}(s, a)$는 상태-행동 쌍 $(s, a)$의 Q-값입니다. 위 식은 정책 파라미터의 기울기를 계산하는 핵심적인 식입니다. 이 식을 통해, 정책을 개선하기 위한 파라미터 업데이트 방향을 결정할 수 있습니다.

4) 파라미터 업데이트

계산된 기울기를 사용하여 정책 파라미터를 업데이트합니다. 이는 경사 상승법을 통해 수행됩니다.

$$ \theta \leftarrow \theta + \alpha \nabla_{\theta} J(\theta) $$

여기서 $\alpha$는 학습률입니다. 이 과정을 반복하면서 정책을 점진적으로 개선합니다.

3. REINFORCE 알고리즘

REINFORCE는 정책 경사 상승을 사용하는 가장 기본적인 알고리즘 중 하나입니다. REINFORCE는 몬테 카를로(Monte Carlo) 방법을 사용하여 성능 지표의 기울기를 추정합니다.

1) 알고리즘 개요

REINFORCE 알고리즘은 다음과 같은 단계로 구성됩니다.

1. 에피소드 생성: 현재 정책 $\pi_{\theta}$를 사용하여 환경과 상호작용하고, 하나의 에피소드를 생성합니다. 에피소드는 상태, 행동, 보상의 시퀀스로 구성됩니다.
2. 반환(Return) 계산: 각 시간 단계 $t$에 대한 반환 $G_t$를 계산합니다. 반환은 시간 $t$ 이후의 모든 보상의 합입니다.
3. 정책 경사 추정: 각 시간 단계에서 정책의 로그 확률과 반환의 곱을 계산하여 정책 경사를 추정합니다.
4. 파라미터 업데이트: 추정된 정책 경사를 사용하여 정책 파라미터를 업데이트합니다.

2) REINFORCE 알고리즘의 수식 표현

REINFORCE 알고리즘은 다음 수식으로 표현됩니다.

1. 반환 계산:

   $$ G_t = \sum_{k=t}^{T} R_{k+1} $$ 2. 정책 경사 추정:

   $$ \nabla_{\theta} J(\theta) \approx \frac{1}{N} \sum_{i=1}^{N} \sum_{t=0}^{T_i} \nabla_{\theta} log \pi_{\theta}(A_{t,i}|S_{t,i}) G_{t,i} $$ 여기서 $N$은 에피소드의 수, $T_i$는 i번째 에피소드의 종료 시간, $S_{t,i}$는 i번째 에피소드의 시간 $t$에서의 상태, $A_{t,i}$는 i번째 에피소드의 시간 $t$에서의 행동, $G_{t,i}$는 i번째 에피소드의 시간 $t$에서의 반환입니다. 3. 파라미터 업데이트:

   $$ \theta \leftarrow \theta + \alpha \nabla_{\theta} J(\theta) $$

3) REINFORCE 알고리즘의 동작 방식

REINFORCE는 에피소드 단위로 작동합니다. 각 에피소드가 완료된 후에, 해당 에피소드의 경험을 바탕으로 정책 파라미터를 업데이트합니다. 에피소드가 길어질수록, 계산해야 할 반환의 양이 늘어나 계산 비용이 증가할 수 있습니다.

4) REINFORCE 알고리즘의 장단점

REINFORCE는 개념적으로 간단하고, 구현하기 쉽다는 장점이 있습니다. 그러나, 높은 분산(variance) 문제를 겪을 수 있습니다. 즉, 정책 경사의 추정이 불안정하여 학습이 잘 이루어지지 않을 수 있습니다. 이는 각 에피소드마다 반환이 크게 달라질 수 있기 때문입니다.

4. 정책 기반 강화 학습의 응용

정책 기반 강화 학습은 다양한 분야에서 응용될 수 있습니다.

• 로봇 제어: 로봇의 행동 정책을 학습하여, 복잡한 환경에서 작업을 수행하도록 할 수 있습니다. 예를 들어, 로봇이 걷거나, 물건을 잡거나, 다른 로봇과 협력하는 등의 작업을 수행할 수 있도록 학습시킬 수 있습니다.
• 게임 플레이: 게임 캐릭터의 행동 정책을 학습하여, 게임을 더 효율적으로 플레이하도록 할 수 있습니다. 예를 들어, 스타크래프트와 같은 전략 게임에서, 유닛의 행동, 자원 관리, 전략 수립 등을 학습할 수 있습니다.
• 자율 주행: 자율 주행 차량의 운전 정책을 학습하여, 복잡한 도로 환경에서 안전하게 운전하도록 할 수 있습니다.
• 자연어 처리: 텍스트 생성, 대화 모델링 등에서 정책 기반 강화 학습을 활용할 수 있습니다. 예를 들어, 챗봇이 사용자에게 적절한 응답을 생성하도록 학습시킬 수 있습니다.

5. 주의사항과 트러블슈팅

정책 기반 강화 학습을 사용할 때는 몇 가지 주의해야 할 사항이 있습니다.

1. 분산 문제: REINFORCE와 같은 기본적인 정책 경사 방법은 분산이 높아 학습이 불안정할 수 있습니다. 이를 해결하기 위해, 베이스라인(baseline)을 사용하여 반환의 분산을 줄이거나, Actor-Critic 방법과 같은 고급 기술을 사용할 수 있습니다.
2. 지역 최적해: 정책 기반 방법은 지역 최적해(local optimum)에 갇힐 수 있습니다. 이는 성능 지표가 지역적인 최대값에 갇혀, 전역적인 최대값을 찾지 못하는 현상을 의미합니다.
3. 하이퍼파라미터 튜닝: 학습률, 할인율 등 하이퍼파라미터를 신중하게 튜닝해야 합니다. 하이퍼파라미터는 학습의 안정성과 성능에 큰 영향을 미칩니다.

6. 결론

정책 기반 강화 학습은 에이전트가 직접적으로 행동 정책을 학습하는 강력한 방법입니다. 정책 경사 상승을 통해 정책을 최적화하며, REINFORCE와 같은 알고리즘을 사용하여 구현할 수 있습니다. 정책 기반 강화 학습은 로봇 제어, 게임 플레이, 자율 주행 등 다양한 분야에 응용될 수 있습니다. 분산 문제, 지역 최적해 문제, 하이퍼파라미터 튜닝 등의 주의사항을 고려하여, 정책 기반 강화 학습을 효과적으로 활용할 수 있습니다.