활성(화)함수란 입력을 받아 피쳐의 활성, 비활성을 결정하는데 사용되는 함수이다.
선형함수는 입력의 상수배만큼 변하는 것으로
f(x) = x(항등함수) 또는 f(x) = ax 또는 f(x) = ax + b등 의 1차 함수가 있으며
모두 1개의 직선 모양이다.
반대로 비선형은 2개 이상의 직선 또는 곡선의 모양을 가지고 있다.
비선형에는 Sigmoid, ReLU 등이 있다.
사용할 활성화 함수를 선택할 때는 풀고자 하는 문제의 종류를 고려해야 한다.
선형회귀문제
문제의 결과가 직선을 따르는 경향이 있다면 선형함수(y=wx+b)를 주로 이용한다.
분류문제
2개를 분류하는 문제일 때는 선형함수만으로는 정확하게 분류하기 힘들어지는 경향이 있다.
그래서 비선형 함수인 sigmoid, ReLU와 그 변형된 활성화함수를 주로 이용한다.
3개 이상을 분류할 때 주로 Softmax와 그 변형된 활성화함수를 주로 이용한다.
목표 정확도와 학습시간 등을 고려하여 선택하고 혼합 사용도 가능하다.
신경망에서는 활성화 함수로 선형함수가 아닌 비선형함수를 사용해야 한다.
왜냐하면 히든레이어를 여러 개 다층으로 구성하고 활성화함수로 모두 선형함수를 이용하는 경우
단층으로 구성한 것과 정확하게 동일하게 구현할 수 있다. 곧 무의미하다.