전체 글
-
[ADHD 환자의 일기] 11월 19일일기 2023. 11. 19. 22:01
오늘은 힘들었다. 힘든 하루였다. 아무것도 안했지만. 약을 일주일 넘게 안먹었다. 내가 괜찮아졌다고 느꼈기 때문이다. 선생님이 돈을 벌려고 계속 나한테 약을 주나 생각했다. 결론은 아니었다. 일주일간 약없이 나는 학교도 제대로 못갔고 내리 잠만 잤다. 그리고 대망의 오늘은 눈물이 줄줄 났다. 머릿속에 나쁜 생각으로 잔뜩 차서 -한테 화를 냈다. 다시 그 카톡을 보니 내가 봐도 내가 정신병자 같았다. 약을 먹고싶지가 않았다. 약 안먹고 그냥저냥 먹기 전처럼 살면 안될까 싶기도 했다. 약을 매일 먹자니 귀찮고 내가 진짜 약없으면 못사는 사람 같았다. 하지만 역시 아니었다. 난 다시 돌아가고싶지 않다. 약을 먹더라도 조금이라도 나은 상태를 유지하며 살고싶다. 삼년이나 먹은 것 같은데 아직도 제자리라니. 웃기다..
-
[논문 리뷰] Self-supervised Learning via Maximum Entropy Coding논문 스터디 2023. 11. 12. 17:58
그냥 과제 때문에 읽다가 꽤 흥미로운 결과를 가져와서 리뷰에 쓰려고 한다. 다른 self-supervised learning method와 달리 heuristic한 방법이 아니라 entropy에 기반을 둔 방법인데, specific downstream task에 국한되지 않고 다양한 방면에서 performance가 좋다. 근데 의아한 점은 왜 그럼에도 불구하고 기존의 방법들과 acc차이가 많이 안날까? transfer하는 방법에 문제가 있는 건 아닐까? 하는 생각이 든다. 리뷰를 시작하겠다.
-
[ADHD 환자의 일기] 11월 12일일기 2023. 11. 12. 17:38
오랜만.. 사실 할게 지금 되게 많은데 뭐부터 해야할지 잘 모르겠어. 마음은 조급하고 시간은 없어보이고. 사실 시간은 어느정도 충분할지도 몰라. 난 해낼 수 있어. 누구에게 응원받고싶어. 난 왜 이렇게 게으를까. 시작이 어려울 뿐 막상 시작하면 할 수 있을 거야. 조금만 시작해봐. 난 할 수 있어. 그리고 요새 약이 먹기가 싫다. 안먹고도 그냥 살 수 있을 것 같다. 먹어도 이런 삶, 안먹고도 불편을 감수하며 살면 되지 않을까. 먹던 안먹던 지각하는건 그대로고 급 무기력해져서 다 놓아버리는 것도 그대로다. 물론 내 마음가짐이 조금은 달라져서, 이틀정도면 다시 일어날 수 있다. 사실 그냥 되게 여전할 수도 있다. 결과적으로는. 난 결과적으로 라는 말이 참 야속하다. 물론 나뿐만 아니라 많은 모든 사람들도 ..
-
[논문 리뷰] Tackling the generative learning trilemma with denoising diffusion GANs논문 스터디 2023. 10. 31. 13:14
수업 때 발표할 논문으로, 간단하게 정리겸 리뷰하려고 한다. 예전에 논문스터디에서 다른 분이 발표하셨던 논문이기도 하다. generative model의 단점들을 해결할 수 있는 방법으로, Diffusion과 GAN을 결합한 방식이다. 부분적으로는 이해가 가는데, 전체적인 그림이 잘 안그려지는 듯하다. Training pipeline이 복잡해서 그런 것도 같다. Training 구조는 4가지로 이루어져 있다. 첫번째는 noise를 추가하는 diffusion process, 두번째는 real image와 fake image를 판별하는 Discriminator, fake image를 만드는 generator, 또한 fake image를 만드는 Posterior sampling이다. 아직 Diffusion도 ..
-
Self-Supervised Learning (3)학교 수업/ADL 2023. 10. 19. 21:50
SimCLR(2020)부터 다시 시작해본다. SimCLR은 strong augmentation을 사용한다. 각각 다르게 augmented된 image $\tilde{x}_i$와 $\tilde{x}_j$를 사용하여 feature를 extract해서 $h_i$와 $h_j$ 라는 representation을 얻고, projection layer인 MLP를 통과시켜서 나온 $z_i$와 $z_j$를 InfoNCE의 input으로 넣는다. loss는 N개의 sample을 다르게 augment한 두장의 이미지를 positive, 나머지 2N-2개의 sample들을 negative로 만들어 $z_i$와 $z_j$의 cosine similarity를 계산하는 함수로 positive/(positive+negative) 를..
-
Self-Supervised Learning (2)학교 수업/ADL 2023. 10. 19. 21:28
마지막 Constrastive Loss을 이용한 SSL 방법이다. similar sample pair는 가깝게 하고 dissimilar pair는 멀게 하도록 representation을 학습한다. 가장 초기 contrastive loss와 triplet loss는 건너뛰고 Noise Contrastive Estimation(NCE)부터 보겠다. NCE는 2010년에 나온 논문으로 매우 오래됐다. observed data $X=(x_1, x_2, .., x_n)$ 이 있고, artifitially generated noise data $Y=(y_1, y_2,..., y_n)$ 이 있을 때, $x \sim p(x;\theta), y \sim p(y)$ 라고 해보자. 그럼 $ x \sim p(x;\theta..
-
Self-Supervised Learning (1)학교 수업/ADL 2023. 10. 12. 17:15
사실 두번째 SSL 수업인데 앞에서는 image transform based methods라 딱히 신기하다거나 끌리지 않아 오늘 내용과 함께 적으려고 한다. CL도 더 알고싶은데 아쉽다. 하지만 새로 배우는 SSL도 매우 흥미롭다. SSL과 Unsupervised Learning의 차이는 무엇일까? 일단 target supervised label은 존재하지 않을 수 있지만, supervisory signal은 존재하기 때문에 unsupervised learning이라고 하기에는 애매하다. 따라서 우리는 이걸 self-supervised learning이라고 부른다. SSL의 evaluation은 어떻게 할까? self-supervised pretrained network를 downstream task에 ..