시그모이드 함수

로지스틱 곡선

오류 함수 곡선

시그모이드 함수는 S자형 곡선 또는 시그모이드 곡선을 갖는 수학 함수이다. 시그모이드 함수의 예시로는 첫 번째 그림에 표시된 로지스틱 함수가 있으며 다음 수식으로 정의된다.

$$S(x)={\frac {1}{1+e^{-x}}}={\frac {e^{x}}{e^{x}+1}}.$$

정의

시그모이드 함수는 실함수로써 유계이고 미분가능하며, 모든 점에서 음이 아닌 미분값을 가지고 단 하나의 변곡점을 가진다.

종류

• 로지스틱 함수

$f(x)={\frac {1}{1+e^{-x}}}$

• 쌍곡탄젠트 함수

$f(x)=\tanh x={\frac {e^{x}-e^{-x}}{e^{x}+e^{-x}}}$

• 아크탄젠트 함수

$f(x)=\arctan x$

• 오차 함수

$f(x)=\operatorname {erf} (x)={\frac {2}{\sqrt {\pi }}}\int _{0}^{x}e^{-t^{2}}\,dt$

응용

데이터 분석

밀 수확량과 토양 염분 사이의 관계를 모델링 한 역 시그모이드 곡선.

학습 곡선과 같은 여러 자연적인 현상은 작은 값에서 시작하여 시간이 지남에 따라 가속화하였다가 절정에 근접하는 모습을 보인다. 구체적인 수학적 모델이 없을 때 시그모이드 함수가 자주 사용된다.

딥러닝

출력이 0과 1사이의 값을 가지면서 S자 형태로 그려지기 때문에 이진 분류에 사용하기 적합하다. 출력값이 0.5 미만인 경우 0, 출력값이 0.5 이상인 경우 1로 교정하면 이진분류가 가능하기 때문이다.

인공 신경망에서는 가끔 효율을 높이기 위해 매끈하지 않은 하드 시그모이드 함수들이 사용된다.

신경망에서는 활성화 함수로 시그모이드 함수를 이용한다. 비선형(Non-linear) 구조를 가지므로 역전파 과정에서 미분값을 통해 학습이 진행될 수 있기 때문이다.

함께 보기

• 활성화 함수
• 소프트맥스 함수