[논문 리뷰] Self-supervised Learning via Maximum Entropy Coding

그냥 과제 때문에 읽다가 꽤 흥미로운 결과를 가져와서 리뷰에 쓰려고 한다. 다른 self-supervised learning method와 달리 heuristic한 방법이 아니라 entropy에 기반을 둔 방법인데, specific downstream task에 국한되지 않고 다양한 방면에서 performance가 좋다. 근데 의아한 점은 왜 그럼에도 불구하고 기존의 방법들과 acc차이가 많이 안날까? transfer하는 방법에 문제가 있는 건 아닐까? 하는 생각이 든다. 리뷰를 시작하겠다.