기초 이론1986

역전파 알고리즘 (Backpropagation)

루멜하트, 힌튼, 윌리엄스가 다층 신경망 학습법을 정립

다층 신경망 구조: 입력층 → 은닉층 → 출력층 (Wikimedia Commons, CC BY-SA)

역전파는 출력 오차를 네트워크 역방향으로 전파하여 각 가중치의 기울기를 계산합니다. 이를 통해 경사하강법으로 다층 네트워크를 효과적으로 학습할 수 있게 되었으며, 현대 딥러닝의 핵심 알고리즘입니다.

체인 룰

\frac{\partial L}{\partial w} = \frac{\partial L}{\partial \hat{y}} \cdot \frac{\partial \hat{y}}{\partial \text{net}} \cdot \frac{\partial \text{net}}{\partial w}

가중치 업데이트

w \leftarrow w - \eta \cdot \frac{\partial L}{\partial w}

경사하강법(Gradient Descent)

손실 함수의 기울기를 따라 가중치를 조정하는 최적화 기법

체인 룰(Chain Rule)

합성 함수의 미분법 — 역전파의 수학적 기반

손실 함수(Loss Function)

예측과 정답의 차이를 수치화하는 함수 (MSE, Cross-Entropy 등)

제

제프리 힌튼

역전파 공동 저자, '딥러닝의 대부'

데

데이비드 루멜하트

역전파 알고리즘 공동 발표

로

로널드 윌리엄스

역전파 알고리즘 공동 발표

다층 신경망을 실질적으로 학습할 수 있게 만든 혁신. 2차 AI 붐을 이끌었으며, 현재까지 거의 모든 딥러닝 모델의 학습 기반입니다.

AI 발전사