Cnn_modern (1)

1. AlexNet

(1) 특징

• LeNet-5보다 깊다
• 5개 convolution layer, 3개 fully connected layer
• ReLU를 사용, Max Pooling 사용(3x3, stride 2)
• conv filter 11 x 11 $\rightarrow$ 5 x 5 $\rightarrow$ 3 x 3
• 채널(커널)수가 LeNet-5보다 10배이상
• 메모리 부족으로 gpu 2대이용
  • 3번째 conv와 fc layer $\rightarrow$ 서로 교류
• 오버피팅방지: drop-out실시, clipping, 색상변경, fliping 등 Augmentation으로 데이터 생성

(2) 모델

2. VGGNet

(1) 특징

• AlexNet과 비슷한 구조
• VGG 블록이 연속적 연결(5개) +Full connected layer(3개)로 구성
• 5개 conv block
• 출력 채널 수가 2배씩 늘어남 (64-128-256-512)
• Max Pool : 사이즈가 2배 줄어듦(224-112-56-28-14)
• 

(2) 모델

• conv ) filter : 3x3, stride=1, pad=1로 고정
• max pool: 2x2 stride=2

3. NIN

(1) VGG와 NIN의 비교

(2) NIN의 특징

• AlexNet과 같은 filter 적용 (11X11 $\rightarrow$ 5X5 $\rightarrow$ 3X3 $\rightarrow$ 3X3) +Max pool(3x3,stride 2)
• filter 1x1 conv 사용
  • 독립적 완전히 연결된 레이어(FC layer) : 더 많은 픽셀당 비선형성 허용하기 위해
• NIN 블록 : 1개의 conv layer +2개 1x1 conv
• ReLU 활성화
• Global Average pooling (모델 매개변수의 수 줄임, 과적합 감소) : 분류가능해서 FC layer 제거하고 사용
  • 채널수를 원하는 출력수로 줄인 후, FC제거하고 평균풀링으로 대체