• Reference

  [딥러닝] Fine Tuning(미세 조정) 꿀 tip

Fine Tuning을 효과적으로 할 수 있는 아이디어

• Trade-off (4-cases)

  

새로운 dataset이 클 경우

1. Pretrained 데이터와 유사성이 크다면

   

• 가장 좋은 상황으로 모든 옵션이 가능
• Feature extraction 뒷부분과 classifier를 학습하고 나머지는 freeze하는 것이 좋음

Why?

<aside> 💡 Feature extraction 가장 뒷부분이 해당 이미지의 특징을 가장 많이 가지고 있기 때문이다.

</aside>

<aside> 💡 기존 데이터와 비슷하기 때문에 전체 layer를 학습시키는 것은 비효율적이다.

</aside>

1. Pretrained 데이터와 유사성이 작다면

   

• 모델 전체를 학습(full-training)이 적합하다.

Why?

<aside> 💡 Dataset 크기가 크기 때문에 overfitting 가능성이 낮다.

</aside>