논문 스터디
-
[논문리뷰] ViDAR : Visual Point Cloud Forecasting enables Scalable Autonomous Driving (2)논문 스터디 2024. 3. 15. 18:48
말이 너무 많아졌다.. 궁금한 점들이나 중요한 부분은 표시해놔야 겠다. Latent Rendering preliminary에서 다시 본론으로 돌아와서, ViDAR의 첫번째 method latent rendering이다. 그래서 뭘 rendering한다는 건지, rendering한 결과가 어떻게 되는건지 제발 알려주면 좋겠다. differentiable ray casting과 달리 discriminative하고 representative 한 feature를 찾기 위해, ray-wise feature를 feature expectation function으로 계산하고 ray-wise feature를 associated conditional probability로 weighting하여 each grid의 fea..
-
[논문리뷰] ViDAR : Visual Point Cloud Forecasting enables Scalable Autonomous Driving (1)논문 스터디 2024. 3. 14. 20:53
논문 링크 : https://arxiv.org/pdf/2312.17655.pdf 이번 학기에 해야하는 주제이다. 무엇을 접목할 수 있을까? 어떤 걸 접목하면 문제가 더 쉽게 풀릴까? 아니면 정확도가 높아질까? 기존 논문의 문제는 뭘까? 이런 생각들을 정리하려면 먼저 첫 논문을 자세히 들여다봐야 될 것 같아 리뷰로 남긴다. Introduction 논문의 motivation은 self-supervised learning에서 시작한다. 보통 2D image의 downstream task에서는 self-supervised learning으로 pretrain 된 모델을 다시한번 supervised learning으로 학습시킨다. 그렇게 하면 모델은 좀더 물체의 특징을 정교하게 기억하는 것 같다.(??? 뇌피셜이다..
-
[논문리뷰] BEVFormer: Learning Bird’s-Eye-ViewRepresentation from Multi-Camera Images viaSpatiotemporal Transformers논문 스터디 2024. 3. 8. 17:12
논문 링크 : https://arxiv.org/pdf/2203.17270.pdf 어쩌다 보니 이쪽으로 흘러들어와 방황한지 일 년이 넘었다. 이제 끝을 맺어야 할 것 같아 시작한 졸업 논문이 되었으면 하는 주제 Point cloud forecasting 에서 쓰이는 BEVFormer를 리뷰해보려 한다. 이어 BEVFormerV2도 리뷰할 예정이다. 논문을 읽었을 때는 읭 스럽다. 이게 어떻게 하다가 생각이 났는지, 왜 이게 되는지에 대한 설명이 좀 부족한 것 같다. Contribution은 Spatial attention, Temporal attention, BEV query 이다. Motivation 3D object detection과 segmentation에서 BEV 라는 representation을..
-
[논문리뷰] Improving non-transferable representation learning by harnessing content and style논문 스터디 2024. 2. 8. 16:41
논문 : https://openreview.net/pdf?id=FYKVPOHCpE ICLR2024 splotlight 에서 재미있는 논문 몇 편을 찾았다. 그 중 첫 번째로 읽는 논문이다. Non-transferable representation learning 이라는 제목에 transfer learning, representation learning에 관심이 있어 읽어보게 되었다. 읽다보니 domain adaptation, continual learning, knowledge distillation 과 상당히 비슷하다는 느낌을 받았다. 찾아보니 저자가 또 그쪽에 많은 논문을 낸 듯 하다. Introduction 먼저 task를 소개하겠다. Non-transferable representation lea..
-
[논문 리뷰] Self-supervised Learning via Maximum Entropy Coding논문 스터디 2023. 11. 12. 17:58
그냥 과제 때문에 읽다가 꽤 흥미로운 결과를 가져와서 리뷰에 쓰려고 한다. 다른 self-supervised learning method와 달리 heuristic한 방법이 아니라 entropy에 기반을 둔 방법인데, specific downstream task에 국한되지 않고 다양한 방면에서 performance가 좋다. 근데 의아한 점은 왜 그럼에도 불구하고 기존의 방법들과 acc차이가 많이 안날까? transfer하는 방법에 문제가 있는 건 아닐까? 하는 생각이 든다. 리뷰를 시작하겠다.
-
[논문 리뷰] Tackling the generative learning trilemma with denoising diffusion GANs논문 스터디 2023. 10. 31. 13:14
수업 때 발표할 논문으로, 간단하게 정리겸 리뷰하려고 한다. 예전에 논문스터디에서 다른 분이 발표하셨던 논문이기도 하다. generative model의 단점들을 해결할 수 있는 방법으로, Diffusion과 GAN을 결합한 방식이다. 부분적으로는 이해가 가는데, 전체적인 그림이 잘 안그려지는 듯하다. Training pipeline이 복잡해서 그런 것도 같다. Training 구조는 4가지로 이루어져 있다. 첫번째는 noise를 추가하는 diffusion process, 두번째는 real image와 fake image를 판별하는 Discriminator, fake image를 만드는 generator, 또한 fake image를 만드는 Posterior sampling이다. 아직 Diffusion도 ..
-
[논문 리뷰] On Layer Normalization in the Transformer Architecture논문 스터디 2023. 9. 24. 17:14
Transformer에서 layernorm을 사용할 때 post-LN을 사용하면 warm up stage에서 hyper-parameter tuning에 시간을 많이 써야하는데 pre-LN을 사용했을 때 그렇지 않다는 내용이다. 사실 내용이 별게 없고 지금은 사용하지 않는 방법인데 여기서는 왜 pre-LN을 사용하고자 하는지, 이론적인 근거가 뒷받침되는지 살펴보자. Summary Abstracts를 읽어보면, 이 논문에서는 첫 번째로 이론적으로 왜 learning rate warm-up stage가 필수적인지와 layer normalization의 위치와의 관계를 보여준다. 구체적으로, post-LN의 initialization에서 mean field theory를 사용해 expected gradients..