활성화 함수가 필요한 이유?

 

 

선형 함수는 쉽다.

비선형 함수는 어렵고 복잡하다.

 

나 혼자만 생각하면 쉽다. 화나면 화내고 짜증나면 짜증내는 1차원적인 반응은 쉽다.

나 말고 주변에 다른 사람들을 고려할 때는 복잡하고 어려워진다. 미세하게 잔발을 쳐야하고 지속적으로 방향을 바꿔야만 한다.

 

신경망을 비선형함수로 감싸는 것은 마치 누구나 남자 혹은 여자로 태어나게 되는 것과 같다. 

이유도 없이 철저한 악의를 가지고 절반을 잘라서 태어난다.

한쪽만 활성화되고, 다른 한쪽은 완전한 무지의 영역이 된다.

나만 생각하는 순간(한쪽만 생각하는 순간) 고통을 받게 되고 이해 불가능한 상황을 맞이한다.

그렇게 이유도없이 불합리한 인생을 살게되기에 인간은 생각하고 그 결과로 깊어진다.

 

 

깊어진다는 말은 다시말해 반복한다는 이야기다.

한번 점프를 시작하자마자 우주끝까지 미끄러져버리는 것에겐 반복이 필요가 없다.

그런데 한번 점프를 했는데 강제로 중력이 작용해 바닥에 내팽게쳐진다.

하고싶은데 안된다. 분명히 했는데 안했다고 말한다. 0으로 코딩되어버린다.

그렇기에 다시해야만한다.

다음 시도엔  더 나은 방법을 시도한다.

배움이고 변화이자 진화를 시작한다.

다음 게임에서 저항이 있고 복잡한세계에 떨어졌을 때, 한번 점프하자마자 우주로 날라간 사람보다 훨씬 더 강한 방법으로 점프를 높게 뛸 수 있게 된다.

 

딥러닝은 활성화 함수를 통해 신경망을 제한함으로써 가능해진다.

한번의 트라이가 100km 직선거리를 이동하는 차와

한번의 트라이가 1cm 직선거리를 이동하는 차가 있다면

100m 정도 앞에 있는 급커브를 누가 돌 수 있는가?

 

내가 생각한 활성화함수는 신경망 하나하나를 작고 무의미하게 만듦으로써 계속해서 반복하도록 만드는 작용을 한다.

1cm만 움직이도록 함으로써 더 많은 복잡성을 인식할 수 있게 만든다.

일부러 틀리게하고 돌아가게 함으로써 '활성화' 시킨다.

분노를 활성화시키는 거겠지만, 어쨌든 최종적으로 생명이 활성화된다.

우리 한명한명을 비선형 함수로 감싸주신 신에게 감사하자.