[강화학습] 1. 강화학습의 기본 개념들

개요

강화학습은 행동심리학에서 영감을 받은 기계 학습의 한 영역이다.

 

기본적인 개념은 에이전트(Agent)의 행동(Action)이 환경(Environment)에 영향을 주게 된다. 이때, 행동은 환경의 상태(State)를 변화시키고 에이전트는 보상(reward)을 받게 되는 과정을 거치게 된다. 여기서 선택 가능한 행동들 중 보상을 최대화하는 행동을 선택하는 방법이다.

 

그림으로 표현하면 다음과 같다.

강화학습 기본구조

 

강화학습의 3요소

- 행동 의존성: 각 행동은 다른 보상을 가져온다.

- 시간 의존성: 보상은 시간이 지연되고 주어진다.

- 상태 의존성: 어떤 행동에 대한 보상은 환경의 상태에 따라 좌우된다.

 

정책: 각 상태에서 수행할 행동을 결정하는 것이다.

 

강화학습을 적용할 수 있는 문제는 마르코프 결정 과정(Markov Decision Process, MDP)으로 표현할 수 있다.

 

마르코프 결정 과정에 필요한 요소

환경이 가질 수 있는 상태의 집합

에이전트가 할 수 있는 행동의 집합

행동 상태 전이(state transition)를 결정하는 규칙들 t시점의 상태에서 행동을 취할 때 도달하는 다음 상태

즉시 보상값을 결정하는 함수 R

 

이때, 에이전트가 현재 상태를 명확히 알 수 있으면 마르코프 결정과정에 해당하고, 그렇지 않은 경우에는

부분 관측 마르코프 결정 과정(Partially Observable Markov Decision Process, POMDP)이 된다.