Security || AI

A3C란? A3C 알고리즘은 비동기적 어드밴티지 액터크리틱(Asynchronous Advantage Actor-Critic)으로, 2016년 구글 딥마인드가 발표한 알고리즘이다. 학습 데이터간의 상관관계를 꺠기 위해 DQN에서와 같이 리플레이 메모리를 사용하는 것이 아니라, 샘플을 수집하는 여러 개의 ACTOR-LEARNER라는 에이전트를 사용하는 Actor-Critic 방법이다. 장점 A3C 알고리즘은 강화학습 문제에서 더 좋은 보상을 달성 가능하다. 기존 방식과 동일한 액션 공간에서 연속적으로나 별도로 동작하는 것이 가능하다. 학습 속도가 빠르다. DGN보다 시간이 단축되고, 학습 성능이 뛰어나다. 구조 동일한 신경망 모델로 되어 있는 각 actor-learner는 서로 다른 환경에서 비동기적으로 일..

강화학습 공부 1일차 2020.01.27 강화학습의 기본 문제인 멀티암드 밴딧 문제는 n개의 손잡이가 달린 밴딧에서 어떤 손잡이를 잡았을 때 가장 높은 보상을 제공하는 손잡이를 찾아내고, 앞으로도 항상 이 손잡이를 선택하게 하는 문제이다. 2021/01/27 - [AI/강화학습] - [강화학습] 강화학습의 기본 개념들 멀티암드 밴딧 문제는 강화학습 3요소(위의 글 참조) 중 행동 의존성만 고려하면 되므로 기초로 풀기 좋다. 정책 멀티암드 밴딧 문제를 풀 때 정책이라는 개념을 알아야 한다. 정책은 주어진 환경의 어떤 상황에서 어떤 에이전트가 취하게 되는 일련의 행동을 말한다. 이때, 에이전트가 주어진 환경 내에서 최대의 보상을 얻을 때, 이를 최적의 정책이라고 한다. 정책 경사 정책 경사는 분류(Class..

개요 강화학습은 행동심리학에서 영감을 받은 기계 학습의 한 영역이다. 기본적인 개념은 에이전트(Agent)의 행동(Action)이 환경(Environment)에 영향을 주게 된다. 이때, 행동은 환경의 상태(State)를 변화시키고 에이전트는 보상(reward)을 받게 되는 과정을 거치게 된다. 여기서 선택 가능한 행동들 중 보상을 최대화하는 행동을 선택하는 방법이다. 그림으로 표현하면 다음과 같다. 강화학습의 3요소 - 행동 의존성: 각 행동은 다른 보상을 가져온다. - 시간 의존성: 보상은 시간이 지연되고 주어진다. - 상태 의존성: 어떤 행동에 대한 보상은 환경의 상태에 따라 좌우된다. 정책: 각 상태에서 수행할 행동을 결정하는 것이다. 강화학습을 적용할 수 있는 문제는 마르코프 결정 과정(Mark..