딥러닝2015

ResNet — 잔차 학습 혁명

허카이밍이 잔차 연결로 152층 신경망 학습에 성공, 인간 수준 이미지 인식 달성

ResNet 잔차 연결: 입력 x를 변환 F(x)에 직접 더하는 skip connection (Wikimedia Commons)

ResNet 잔차 연결: 입력 x를 변환 F(x)에 직접 더하는 skip connection (Wikimedia Commons)

ResNet은 입력을 출력에 직접 더하는 잔차 연결(Skip Connection)을 도입하여, 수백 층 깊이의 네트워크도 안정적으로 학습할 수 있게 만들었습니다. 'F(x) + x' 구조로 기울기가 직접 전달되어 기울기 소실 문제를 근본적으로 해결했으며, ImageNet 2015에서 인간 수준(3.57%)의 오류율을 달성했습니다.

핵심 수식

잔차 학습
H(x)=F(x)+x\mathcal{H}(x) = \mathcal{F}(x) + x

핵심 개념

잔차 연결(Skip Connection)

입력을 변환 없이 출력에 직접 더하는 지름길 경로 — F(x) + x

기울기 고속도로

잔차 연결을 통해 기울기가 수백 층을 건너뛰어 직접 전달되는 효과

배치 정규화(Batch Norm)

각 레이어의 입력을 정규화하여 학습을 안정화하는 기법

주요 인물

허
허카이밍(Kaiming He)
ResNet 논문 1저자 (Microsoft Research)

영향 & 의의

딥러닝의 '깊이 혁명'. ResNet의 skip connection은 이후 Transformer, U-Net, DenseNet 등 거의 모든 현대 아키텍처에 영향을 미쳤으며, '잔차 학습'은 딥러닝의 가장 중요한 설계 원칙 중 하나가 되었습니다.

관련 항목

2012AlexNet & ImageNet 혁명2017트랜스포머 — Attention Is All You Need