역전파 알고리즘 (Backpropagation Algorithm)

I.  AI 딥러닝의 심장, 역전파 알고리즘의 정의

- 인공신경망 출력오차를 개선하기 위해 역방향 오차 전파, 가중치 갱신하는 반복 알고리즘

 

II. 역전파 알고리즘의 매커니즘과 프로세스

가. 역전파 알고리즘의 매커니즘

Hand made

나. 역전파 알고리즘의 프로세스

구분	프로세스	특징
순전파	순전파	- 입력 데이터를 신경망을 통해 전달하면서 각 층의 활성화 값과 출력을 계산
	손실함수 계산	- 출력층의 결과와 실제값(레이블)을 비교하여 손실 값을 계산
역전파	출력층 오류계산	- 손실 함수의 미분값과 활성화 함수의 미분값을 이용해 오류 신호 계산
	역전파 초기화	- 출력층의 기울기를 계산하여 역전파 시작
	은닉층 오류전파	- 이전 층으로 오류를 전파하며 은닉층의 오류 신호 계산
	기울기 계산	- 각 층의 가중치와 바이어스에 대한 기울기 계산
	가중치 업데이트	- 학습률 사용하여 가중치와 편향 업데이트

 

III. 역전파의 기울기 소실문제 해결방안

구분	해결방안	상세설명
학습측면	LSTM	메모리기억 장기의존성 문제 해결
	DBN	파인튜닝 이전 사전학습 수행
활성화함수 측면	ReLU	미분값의 보존
	Leaky ReLU	음의 값 활용

 

- 최종적으로 Loss가 가장 적은 최적의 weight를 찾는 것이 Backpropagation의 핵심.