본 글은 Continual Learning에 대한 Survey를 정리한 글이며, [1]을 참고하였습니다. Background '과제'(Task)라는 개념은 새로운 클래스 그룹, 새로운 도메인 또는 다른 출력 공간에 속하는 새로운 데이터 배치가 있는 격리된 교육 단계를 나타냅니다. Continual Learning은 문헌에 따라 다르게 표현(e.g. Lifelong Learning, Incremental Learning)되기도 합니다. Continual Learning Scenario Task IL 입력 이미지와 어떤 태스크 인지가 주어지고, 그것이 첫 번째 클래스인지 두 번째 클래스 인지를 맞추는 문제입니다. Class IL 입력 이미지만 주어졌을 때, 어떤 클래스 인지를 맞추는 문제입니다. Domain..

Motivation 서비스를 개발하여 배포하는 과정은 아래의 그림과 같습니다. 배포하였던 서비스에 문제가 생겨서 문제를 해결하려고 노력하였는데, 문제가 해결되면 다행입니다만.. 대부분의 경우는 지루한 디버깅 과정이 계속 되게 됩니다. 지루한 것도 문제이지만, 더 중요한 것은 모델의 문제점을 찾고 재배포하는 일련의 과정들이 다 비용이라는 것입니다. 비용을 줄이기 위해선 새로운 분포를 가진 데이터가 들어왔을 때, 새로운 데이터에 맞도록 자동적으로 모델을 수정하여 배포해야합니다. 연구 목적 Continual Learning은 기존 데이터 분포와 다른 새로운 분포를 가진 데이터가 들어왔을 때, 기존 모델을 업데이트 시키는 것을 다루는 분야입니다. 현재 솔루션이 배포되고 있는 상황은 지속적으로 새로운 분포를 가진..