딥러닝_활성화 함수

활성화 함수

- 신경망은 한 계층의 신호를 다음 계층으로 그대로 전달하지 않고 비선형적인 활성화 함수를 거친 후에도 전달한다

- 이렇게 하는 이유는 생물학적인 신경망을 모방하는 것

     => 약한 신호는 전달하지 않고 어느 이상의 신호도 전달하지 않는 "S"자 형 곡선과 같이 "비선형적"인 반응을 한다고 생각했다

- 실제로 비선형의 활성화 함수를 도입한 신경망이 잘 동작하고 있다

 

Sigmoid 함수

 

활성화 함수로 비선형 함수를 사용하는 이유

- 계단 함수와 시그모이드 함수는 비선형 함수이다

- 활성화 함수로 선형함수 ex) h(z) = cz를 사용하면 중간층(은닉층)을 여러개 구성한 효과를 살릴 수 없다

 

Step와 Sigmoid의 차이

- 선형 모델이 학습하기 위해서 경사하강법을 사용

 

문제 유형에 따라 사용되는 활성화 함수와 오차함수 종류

유형	출력층 활성화 함수	오차 함수
회귀	항등 함수	제곱오차
이진 분류	로지스틱 함수	교차 엔트로피
다클래스 분류	스프트맥스 함수	교차 엔트로피