논문 스터디
-
[논문 리뷰] Understanding and Improving Layer Normalization논문 스터디 2023. 9. 21. 17:44
수업에 리뷰하는 과제가 있어서 정리할 겸 올린다. 그리고 개인적으로 수업을 듣고 Layer Normalization이 궁금하기도 했다. 비판적으로 읽어야 하는데 어떻게 읽으면 좋을까? Abstract Layer Normalization은 intermediate layers의 distribution을 normalization하는 technique이다. 이는 smoother gradients, fast training, better generalization accuracy를 가능케 하는데 어디서 나온 말인지는 모르겠다. 이건 좀 알아봐야 할 것 같다. 그러나 Batch Normalization이 그렇듯 왜 그렇게 되는가는 아직 unclear하다. 이전의 연구들에서 Layer Normalization은 fo..
-
[논문리뷰] Do Bayesian Neural Networks Need To Be Fully Stochastic?논문 스터디 2023. 9. 15. 12:32
어디까지나 뇌피셜인 블로그 reference : https://arxiv.org/pdf/2211.06291.pdf 논문 스터디 중 친구가 들고온 논문으로, Bayesian Neural Network 논문을 몇 개 읽긴 했지만 아직 코드 레벨로 보진 않았는데 구체적으로 어떻게 구현되는지 궁금해지게 만드는 논문이었다. 그래서 Partially Stochastic Bayesian Neural Network 논문들을 읽기 전에 왜 Fully Stochastic BNN이 필요하지 않은지부터 알아보려 한다. Introduction
-
[논문 리뷰] VoxelNet논문 스터디 2023. 8. 26. 17:17
어디까지나 뇌피셜인 블로그 reference : https://arxiv.org/abs/1711.06396 VoxelNet은 lidar 만 사용하여 voxel 기반으로 3D object detection 하는 모델이다. 최근 많은 3D object detection 논문들이 point based가 아닌 voxel based이고 그중 대부분이 SECOND를 사용한다. 따라서 그 기반이 된 논문인 VoxelNet을 먼저 리뷰해보고자 한다. Introduction 이 논문은 voxel $($volume + pixel$)$ 을 사용하여 pointcloud의 high computation and memory requirement 를 해결하려 한다. voxel feature encoding 방법을 통해 interp..
-
[논문 리뷰] Flatformer논문 스터디 2023. 7. 5. 18:10
어디까지나 뇌피셜인 블로그 논문 링크 : Flatformer : Flattened window attention for efficient point cloud transformer Motivation pointcloud transformer의 efficient한 버전이다. 기존 pointcloud transoformer인 SST와 sparse convolution을 사용한 Centerpoint 보다도 빠른 pointcloud transformer로, nvidia jetson agx orin에서도 16 fps로 inference 할 수 있다. 자세한 내용을 보자. 먼저 선행되어야 하는 3D dense prediction method의 특징에 대해서 살펴보자. 보통 nuScenes, Waymo dataset..
-
[논문 리뷰] source free domain adaptation via distribution estimation논문 스터디 2023. 6. 22. 17:21
어디까지나 뇌피셜인 블로그 논문 링크 : https://arxiv.org/pdf/2204.11257.pdf Motivation domain adaptation 은 source dataset으로 train된 model을 unlabeled target dataset에 사용하려는 task이다. source dataset과 real-world는 다르므로 source dataset으로 train된 모델을 general하게 사용하기는 어렵기 때문에 관심을 얻고 있다. domain adaptation은 곧 source dataset의 distribution과 target dataset의 distribution이 다른 문제를 말하는 domain shift problem을 푸는 것과 같다. 그 중에서도 source da..