[강화학습] A2C

< A2C >

 

A2C(advantage actor-critrc)은 정책을 업데이트하기 위해서 에피소드가 끝날 때까지 기다려야 하며, 그래디언트의 분산이 매우 크다는

REINFORCE의 단점을 개선한 알고리즘이다. (살짝 개선한 것이지만 성능은 뛰어나다고 함!)

 

---

 

< 그래디언트의 재구성 >

 

\begin{align*}
\bigtriangledown_\theta J(\theta) &= E_{\tau\sim p_\theta(\tau)}\left [ \sum_{t=0}^{T}\left ( \gamma^t \bigtriangledown_\theta log \pi_\theta (u_t|x_t)\left ( \sum_{k=t}^{T} \gamma^{k-t}r(x_k, u_k) \right ) \right ) \right ] \\

&= \sum_{t=0}^{T} \left \{  E_{\tau\sim p_\theta(\tau)}\left [ \gamma^t \bigtriangledown_\theta log \pi_\theta (u_t|x_t)\left ( \sum_{k=t}^{T} \gamma^{k-t}r(x_k, u_k) \right ) \right ] \right \}

\end{align*}

 

위 식은 REINFORCE 알고리즘의 그래디언트이다.(REINFORCE 추후 작성 예정ㅎㅎ)

두 번째 줄의 소괄호 항은 시간 스텝 $k=t$부터 에피소드가 종료될 때까지 받을 수 있는 감가된 예정 보상(reward-to-go)의 총합인 반환값 $\sum_{k=t}^{T} \gamma^{k-t}r(x_k, u_k)$이다.

 

 

 

궤적 $\tau$를 시간스텝 $t$를 기준으로 두개의 영역으로 분할한다.

$$\tau = \tau_{x_0:u_t}\cup \tau_{x_{t+1}:u_T}$$

 

그렇다면 목적함수의 그래디언트는 다음과 같이 표현할 수 있다.

\begin{align*}
\bigtriangledown_\theta J(\theta) 

&= \sum_{t=0}^{T}  \int_{\tau_{x_0:u_t}}^{} \int_{\tau_{x_{t+1}:u_T}}^{} \left ( \gamma^t \bigtriangledown_\theta log \pi_\theta (u_t|x_t)\left ( \sum_{k=t}^{T} \gamma^{k-t}r(x_k, u_k) \right ) \right ) p_\theta(\tau_{x_0:u_t}, \tau_{x_{t+1}:u_T})d\tau_{x_{t+1}:u_T} d\tau_{x_0:u_t} \\

&= \sum_{t=0}^{T}  \int_{\tau_{x_0:u_t}}^{} \int_{\tau_{x_{t+1}:u_T}}^{} \left ( \gamma^t \bigtriangledown_\theta log \pi_\theta (u_t|x_t)\left ( \sum_{k=t}^{T} \gamma^{k-t}r(x_k, u_k) \right ) \right ) p_\theta( \tau_{x_{t+1}:u_T}|\tau_{x_0:u_t})p(\tau_{x_0:u_t})d\tau_{x_{t+1}:u_T} d\tau_{x_0:u_t} \\

&= \sum_{t=0}^{T}  \int_{\tau_{x_0:u_t}}^{} \gamma^t \bigtriangledown_\theta log \pi_\theta (u_t|x_t) \left [ \int_{\tau_{x_{t+1}:u_T}}^{} \left ( \sum_{k=t}^{T} \gamma^{k-t}r(x_k, u_k) \right ) p_\theta( \tau_{x_{t+1}:u_T}|\tau_{x_0:u_t})d\tau_{x_{t+1}:u_T} \right ] p(\tau_{x_0:u_t}) d\tau_{x_0:u_t}

\end{align*}

 

 

위의 식에서 대괄호 항은 마르코프 가정에 의해서 행동가치 함수가 된다.

\begin{align*}

& \int_{\tau_{x_{t+1}:u_T}}^{}  \left ( \sum_{k=t}^{T} \gamma^{k-t}r(x_k, u_k) \right )  p_\theta( \tau_{x_{t+1}:u_T}|\tau_{x_0:u_t})d\tau_{x_{t+1}:u_T} \\
&= \int_{\tau_{x_{t+1}:u_T}}^{}  \left ( \sum_{k=t}^{T} \gamma^{k-t}r(x_k, u_k) \right )  p_\theta( \tau_{x_{t+1}:u_T}|x_t,u_t)d\tau_{x_{t+1}:u_T} \\
&= Q^{\pi_\theta}(x_t, u_t)

\end{align*}

 

이 식을 위에 대입하면

 

\begin{align*}
\bigtriangledown_\theta J(\theta) 

&= \sum_{t=0}^{T} \int_{\tau_{x_0:u_t}}^{} \gamma^t \bigtriangledown_\theta log \pi_\theta (u_t|x_t) Q^{\pi_\theta}(x_t, u_t) p_\theta (\tau_{x_0:u_t}) d\tau_{x_0:u_t} \\

&= \sum_{t=0}^{T} \left( \int_{x_t,u_t}^{} \gamma^t \bigtriangledown_\theta log \pi_\theta (u_t|x_t) Q^{\pi_\theta}(x_t, u_t) p_\theta (x_t, u_t) dx_t du_t \right )

\end{align*}

 

 

여기서 $p_\theta(x_t, u_t)$는 $(x_t, u_t)$의 한계확률밀도함수이다.

확률의 연쇄 법칙을 적용하면 다음과 같다.

 

 

\begin{align*}
\bigtriangledown_\theta J(\theta) 

&= \sum_{t=0}^{T} \left ( \int_{x_0:u_t}^{} \gamma^t \bigtriangledown_\theta log \pi_\theta (u_t|x_t) Q^{\pi_\theta}(x_t, u_t) \pi_\theta (u_t| x_t) p_\theta(x_t)] dx_t du_t \right ) \\

&= \sum_{t=0}^{T} \left ( E_{x_t \sim p_\theta(x_t), u_t \sim \pi_\theta (u_t|x_t)} \left [  \gamma^t \bigtriangledown_\theta log \pi_\theta (u_t|x_t) Q^{\pi_\theta}(x_t, u_t) \right ] \right ) \\

&= \sum_{t=0}^{T} \left ( E_{x_t \sim p_\theta(x_t), u_t \sim \pi_\theta (u_t|x_t)} \left [  \bigtriangledown_\theta log \pi_\theta (u_t|x_t) Q^{\pi_\theta}(x_t, u_t) \right ] \right )

\end{align*}

 

여기서 $d_\theta(x_t) = \gamma^t p_\theta(x_t)$를 상태변수 $x_t$의 감가된 확률밀도함수라고 한다.

감가율은 에피소드 후반부 궤적에 있는 데이터의 이용도를 크게 떨어트리는 단점이 있어, 일반적으로는 제거한다.

그러면 $d_\theta(x_t) = p_\theta(x_t)$이 된다.

 

 

이제 목적함수의 그래디언트를 계산하기 위해서 행동가치를 계산하면 된다.

행동가치는 상태변수 $x_t$에서 행동 $u_t$를 선택하고 그로부터 정책 $\pi$에 의해 행동이 가해졌을 때 기대할 수 있는 미래의 반환값으로서, 정책이 실현되는 시간스텝 $t$에서의 기댓값이기 때문에 목적함수의 그래디언트를 계산할 때 에피소드가 끝날때까지 기다릴 필요가 없다.

 

 

 

 

 

[출처]

박성수, 「수학으로 풀어보는 강화학습 원리와 알고리즘」, 위키북스(2020)