Continual Learning (1)

Backgrounds

 

Continual Learning(CL)이 나타나게 된 배경은 Supervised Learning의 target task가 continually grow 하는 반면, Batch Learning을 하는 기존 학습 방법은 새로운 데이터를 업데이트하기가 쉽지않다. Batch Learning은 가지고 있는 모든 데이터를 사용해 훈련시키는 방법으로, 오프라인으로 이루어진다. Batch learning에서 새로운 데이터를 업데이트 할 때에는 이전 데이터를 포함해 전체 학습 데이터를 처음부터 다시 학습시키는 방법과 fine-tuning을 이용해 transfer하는 방법이 존재한다. 

 

Continual (Lifelong) Learning Scenarios

Supervised Learning의 목표는 학습 데이터를 overfitting되지 않게 학습하고 generalization 시키는 것이다. 하지만, 학습 데이터는 계속 추가될 수 있고, 이전까지의 학습 데이터로 학습된 모델에 추가 데이터를 학습할 때, 이전 데이터의 학습 내용을 잊지 않으면서도, 추가된 데이터도 잘 맞추도록 해야 한다. 데이터가 추가되면서 class가 추가 될 수 있고 (Class-Incremental Learning), 새로운 task가 생길 수도 있으며 (Task-Incremental Learning), 새로운 domain의 데이터가 추가 될 수도 있다 (Domain-Incremental Learning).

 

Main Challenge : Plasticity-Stability Dilemma

CL의 도전 과제는 plasticity와 stability사이의 trade-off를 조절하는 것이다. Plasticity는 힘을 가하면 영구적으로 변하는 성질으로, Neural Networks는 forward transfer를 하여 새로운 tasks나 concepts를 잘 학습해야 하며, neural networks의 기본 성질이기도 하다. Stability는 반대로 fine-tuning시 새로운 task에는 빠르게 적응하지만 또한 빠르게 배웠던 것을 잊는 것을 극복해야하는 문제를 말하며, Overcoming catastrophic forgetting이라고 한다. 이전에 학습한 Previous knowledge를 잊지 않고 parameters는 stable 해야하는데, 여기서 plasticity와 stability사이에서 어떤 것에 중점을 두어야 하는지, 어디서 타협점을 찾을지 dilemma가 생긴다. 

 

Additional Requirements

Scalable : task의 수는 계속 늘어날 수 있다. 

Positive backward transfer : 이전에 학습했던 task를 까먹지 않을뿐 아니라, 새로운 task의 학습으로 이전 task가 더 잘풀리도록 한다. 

Learn without task label : task boundaries가 주어지지 않을 수 있다.  

 

Common Approaches for CL 

CL의 common approach로는 세 가지가 있는데, Regularization, Parameter Isolation, Memory Replay 이다. Regularization은 각 task에 중요한 weights를 찾아 loss function에 penalty term을 부여하여 fine-tuning시에도 weight가 업데이트 되지 않고 유지되도록 하는 방법이다. Parameter Isolation은 새로운 task에는 새로운 network로 확장하는 것이며 Dynamic Architecture라고도 한다. Memory Replay는 pask task data를 저장해두었다가 새로운 task가 들어왔을 때 이전 task data를 같이 사용하는 방법이다. 

 

다음 편에 각 접근방식들의 대표적인 방법들을 설명할 것이다.