Security || AI

A3C란? A3C 알고리즘은 비동기적 어드밴티지 액터크리틱(Asynchronous Advantage Actor-Critic)으로, 2016년 구글 딥마인드가 발표한 알고리즘이다. 학습 데이터간의 상관관계를 꺠기 위해 DQN에서와 같이 리플레이 메모리를 사용하는 것이 아니라, 샘플을 수집하는 여러 개의 ACTOR-LEARNER라는 에이전트를 사용하는 Actor-Critic 방법이다. 장점 A3C 알고리즘은 강화학습 문제에서 더 좋은 보상을 달성 가능하다. 기존 방식과 동일한 액션 공간에서 연속적으로나 별도로 동작하는 것이 가능하다. 학습 속도가 빠르다. DGN보다 시간이 단축되고, 학습 성능이 뛰어나다. 구조 동일한 신경망 모델로 되어 있는 각 actor-learner는 서로 다른 환경에서 비동기적으로 일..

개요 강화학습은 행동심리학에서 영감을 받은 기계 학습의 한 영역이다. 기본적인 개념은 에이전트(Agent)의 행동(Action)이 환경(Environment)에 영향을 주게 된다. 이때, 행동은 환경의 상태(State)를 변화시키고 에이전트는 보상(reward)을 받게 되는 과정을 거치게 된다. 여기서 선택 가능한 행동들 중 보상을 최대화하는 행동을 선택하는 방법이다. 그림으로 표현하면 다음과 같다. 강화학습의 3요소 - 행동 의존성: 각 행동은 다른 보상을 가져온다. - 시간 의존성: 보상은 시간이 지연되고 주어진다. - 상태 의존성: 어떤 행동에 대한 보상은 환경의 상태에 따라 좌우된다. 정책: 각 상태에서 수행할 행동을 결정하는 것이다. 강화학습을 적용할 수 있는 문제는 마르코프 결정 과정(Mark..