활성화 함수

활성화 함수(Activation Function)란 인공 신경망(Neural Network)에서 사용되는 은닉층(Hidden Layer)을 활성화하기 위한 함수이다. ReLU와 시그모이드 함수가 널리 쓰인다.

비선형(Non-linear) 구조를 가지므로 역전파 과정에서 미분값을 통해 학습이 진행될 수 있게 한다. 만약, 활성화 함수가 선형 구조일 경우 미분 시 항상 상수가 나오게 되므로 학습이 진행되지 않는다. 활성화 함수는 입력을 정규화(Normalization)하는 과정으로 볼 수 있다.