프루닝 (Pruning)

I.  모델의 경량화, 프루닝의 정의

- 딥러닝 모델 경량화를 위해 학습 후 가중치가 낮은 노드, 연결을 삭제하는 경량화 기법

 

II. 프루닝의 매커니즘과 주요기법

가. 프루닝의 매커니즘

https://arxiv.org/abs/1810.05270

나. 프루닝의 주요기법

구분	주요기법	특징
가중치 기반	Weight Pruning	- 네트워크에서 중요하지 않은 가중치를 제거하여 모델 크기를 줄이는 기법
	Magnitude Pruning	- 가중치 값의 크기가 작은 값을 제거하여 모델을 간소화하는 기법
	Activation Pruning	- 뉴런의 활성화 값이 낮은 뉴런을 제거하여 계산을 최적화하는 기법
구조 기반	Structured Pruning	- 특정 구조(예: 필터, 채널 등)에 맞춰 가중치를 제거하는 기법
	Global Pruning	- 전체 네트워크에서 가중치를 중요도 순으로 제거하는 기법
	Local Pruning	- 각 층이나 구간에서 독립적으로 중요하지 않은 가중치를 제거하는 기법

 

III. 프루닝과 드랍아웃의 비교

비교	프루닝 (Pruning)	드랍아웃 (Dropout)
개념	뉴런 제거	뉴런 비활성화
목적	모델 경량화	오버피팅 방지
시점	학습 후	학습 중
수행	적은 가중치 삭제	랜덤 비활성화

 

 

---

참고자료

• (Zhuang Liu, Mingjie Sun, Tinghui Zhou, Gao Huang, Trevor Darrell) Rethinking the Value of Network Pruning
• (Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan Salakhutdinov) Dropout: A Simple Way to Prevent Neural Networks from Overfitting