Continual Learning (2)

 

 

이전 편에서 continual learning의 개념과 세 가지 접근 방식들에 대해 설명했고, 지금부터는 각 접근 방식의 대표적인 방법들을 소개할 것이다. 

 

reference : Kirkpatrick et al., Overcoming catastrophic forgetting in neural networks, PNAS 2017

EWC (Elastic Weight Consolidation)

- 어떤 nodes or weights가 중요한지 찾는다. 

- important nodes or weights에 high regularization을 준다.

- stability에 초점이 맞춰져 있다. 

 

EWC

task A를 수행하는 모델의 parameter를 ${\theta }_A$라고 했을 때, parameter space of low error for task A는 회색이고 new task인 task B를 수행할 때 parameter space of low error for task B는 노란색이라고 하자. 모델이 task B로 forward transfer 될 때 penalty를 주지 않는다면 노란색 parameter space로 이동할 것이다. 그러나 이렇게 되면 이전의 task A에서는 high error를 갖게 된다. 간단하게 L2 regularizer를 주게 되면? 왜 바깥으로 이동하는지 잘은 모르겠다. 아마 방법이 너무  naive하기 때문 아닐까? 아무튼 EWC는 두 parameter space 가 겹치는 공간으로 ${\theta }_A$를 이동하게 하여 두 task 모두 잘 수행하려 한다. 

 

Bayesian framework

 

1. Single task case with a neural network model $\theta$

    - Let $\mathcal{D}={\{x_i,y_i\}}_{i=1}^n$ be the training data

    - Maximum Likelihood (ML) estimate of $\theta$

$${\theta }_{ML}^{\ast }=\underset{\theta }{\arg min}\{\log p(\mathcal{D}|\theta )\}=\underset{\theta }{\arg min}\{-\sum _{i=1}^n\log p(y_i|x_i,\theta )\}$$

    - Maximum a Posteriori (MAP) estimate of $\theta$ 

$${\theta }_{MAP}^{\ast }=\underset{\theta }{\arg min}\{-\log p(\mathcal{D}|\theta )-\log p(\theta )\}=\underset{\theta }{\arg min}\{-\sum _{i=1}^n-\log p(y_i|x_i,\theta )-\log p(\theta )\}$$

이 때 MAP의 $\log p(\theta )$는 $\theta$의 prior 이며, standard Gaussian이다. 

 

2. Two tasks arriving sequentially

    - Let ${\mathcal{D}}_1{\mathcal{D}}_2$ be the training data for each task

    - A natural MAP estimate of $\theta$ after learning Task 2

$${\theta }_{MAP,1:2}^{\ast }=\underset{\theta }{\arg min}\{-\log p({\mathcal{D}}_2|\theta )-\log p(\theta |{\mathcal{D}}_1)\}$$

${\mathcal{D}}_1$의 posterior를 entire dataset의 prior로 줘서 regularizer 역할을 하도록 한다. 그러나 posterior이므로 계산하기 어려워 approximate 할 것이다. 

 

갑자기 왜 posterior가 prior가 됐으며 왜 regularizer 역할을 하는지? 

${\mathcal{D}}_1$의 posterior는 어떤 parameter가 중요한지에 대한 정보를 포함하고 있으므로 이를 prior로 준다. negative loss function $-\mathcal{L}(\theta )$인  $\log p({\mathcal{D}}_2|\theta )$안에서 곱해지므로 regularizer 역할을 하게 된다. 하지만 task1의 posterior를 entire task의 prior로 주는 식이 heuristic인지 아니면 수학적으로 계산된 식인지는 여쭤봐야 할 것 같다.  

 

3. Laplace Approximation to approximate posterior $\log p(\theta |{\mathcal{D}}_1)$

    - Let the MAP solution be ${\theta }_1^{\ast }=\underset{\theta }{\arg min}\{-\log p(\theta |{\mathcal{D}}_1)\}$

    - Approximate $p(\theta |{\mathcal{D}}_1)$ as a Gaussian with mean ${\theta }_1^{\ast }$ and covariance ${\sigma }_{-1}$

    - Approximate ${\mathrm{\Sigma }}_{-1}$ with Fisher Information Matrix (FIM)

   $$\log p(\theta |{\mathcal{D}}_1)\approx \log p({\theta }_1^{\ast }|{\mathcal{D}}_1)+\frac{1}{2}(\theta -{\theta }_1^{\ast }{)}^{\mathrm{\top }}({\mathrm{\nabla }}_{\theta }^2\log p(\theta |{\mathcal{D}}_1){|}_{{\theta }_1^{\ast }})(\theta -{\theta }_1^{\ast })$$

$$\log p(\theta |{\mathcal{D}}_1)\approx \mathcal{N}({\theta }_1^{\ast },({\mathrm{\nabla }}_{\theta }^2\log p(\theta |{\mathcal{D}}_1){|}_{{\theta }_1^{\ast }}{)}^{-1})$$ $${\mathrm{\nabla }}_{\theta }^2(-\log p(\theta |{\mathcal{D}}_1))={\mathrm{\nabla }}_{\theta }^2(-\log p({\mathcal{D}}_1|\theta )-\log p(\theta ))=\frac{1}{n}\sum _{i=1}^n{\mathrm{\nabla }}_{\theta }^2(-\log p(y_i|x_i,\theta ))+I$$

Then, 

$${\mathrm{\nabla }}_{\theta }^2(-\log p(y|x,\theta ))=\frac{{\mathrm{\nabla }}_{\theta }^{2}p(y|x,\theta )}{p(y|x,\theta )}+\frac{{\mathrm{\nabla }}_{\theta }p(y|x,\theta ){{\mathrm{\nabla }}_{\theta }p(y|x,\theta )}^{\mathrm{\top }}}{{p(y|x,\theta )}^2}$$

$${\mathrm{\nabla }}_{\theta }^2(-\log p(y|x,\theta ))=-\frac{{\mathrm{\nabla }}_{\theta }^{2}p(y|x,\theta )}{p(y|x,\theta )}+\frac{{\mathrm{\nabla }}_{\theta }p(y|x,\theta ){{\mathrm{\nabla }}_{\theta }p(y|x,\theta )}^{\mathrm{\top }}}{{p(y|x,\theta )}^2}$$

$$=-\frac{{\mathrm{\nabla }}_{\theta }^{2}p(y|x,\theta )}{p(y|x,\theta )}+{\mathrm{\nabla }}_{\theta }\log p(y|x,\theta ){{\mathrm{\nabla }}_{\theta }\log p(y|x,\theta )}^{\mathrm{\top }}$$

Take expectations leads to the identity (first term vanishes)

$${\mathbb{E}}_{x,y|\theta }\left({\mathrm{\nabla }}_{\theta }^2(-\log p(y|x,\theta ))\right)={\mathbb{E}}_{x,y|\theta }\left({\mathrm{\nabla }}_{\theta }\log p(y|x,\theta ){{\mathrm{\nabla }}_{\theta }\log p(y|x,\theta )}^{\mathrm{\top }}\right)\triangleq F_{\theta }$$

여기서 $F_{\theta }$가 Fisher Information Matrix (FIM) 이다. ${\mathrm{\nabla }}_{\theta }\log p(y|x,\theta )$ matrix는 Neural Network의 gradient이고 parameter dimension x parameter dimension 크기의 matrix이기 때문에 계산이 또 복잡해진다. 따라서 diagonal Fisher Information Matrix로 근사하여 최종적으로 covariance matrix를 구한다. 

$${\mathrm{\nabla }}_{\theta }^2(-\log p(\theta |{\mathcal{D}}_1)){|}_{{\theta }_1^{\ast }}\approx \frac{1}{n}\sum _{i=1}^n{\mathrm{\nabla }}_{\theta }(\log p(y_i|x_i,\theta )){{\mathrm{\nabla }}_{\theta }(\log p(y_i|x_i,\theta ))}^{\mathrm{\top }}+I$$

Hence, the final approximation becomes

$$p(\theta |{\mathcal{D}}_1)\approx \mathcal{N}({\theta }_1^{\ast },{(\text{diag}(F_{\theta }){|}_{{\theta }_1^{\ast }}+I)}^{-1})$$

 

그럼 task 2를 학습하는 EWC의 loss function은 다음과 같다.

$${\mathcal{L}}_2(\theta )=-\frac{1}{n}\sum _{i\in {\mathcal{D}}_2}\log p(y_i|x_i,\theta )+\frac{\lambda }{2}\sum _{{\theta }_j}(1+F_{\theta ,jj}^1){({\theta }_j-{\theta }_{1,j}^{\ast })}^2$$

General task t에 대한 loss function은 FIM이 계속 더해지는 형태이다. 

$${\mathcal{L}}_t(\theta )=-\log p({\mathcal{D}}_t|\theta )+\frac{\lambda }{2}\sum _{{\theta }_j}(1+\sum _{s=1}^{t-1}{F}_{\theta ,jj}^s){({\theta }_j-{\theta }_{t-1,j}^{\ast })}^2$$

 

이미 알고있는 다른 분포로 posterior를 approximation하는 방법은 Variational Inference와 비슷하다. 따라서 이런 방법들을 Variational Continual Learning 이라고 한다. 

 

EWC는 위와 같이 중요한 parameter에 regularizer를 취해줌으로써 그 weight가 크게 변하지 않고 유지되도록 한다.