딥러닝:이진분류 편집하기 (부분)

== 시그모이드 함수 ==
'''시그모이드함수가 만들어지기까지..'''

=== 오즈비 ===
성공과 실패의 비율을 나타낸 것. 성공확률/(1-성공확률) 의 식이다. 

=== 로짓함수 ===
오즈비는 성공확률이 0.9가 되면 급격하게 커진다. 때문에 여기에 자연로그를 취해보는데, 이를 로짓함수라 한다. 성공확률이 0.5일 때 0이 되고, 0, 1일 땐 각각 무한대로 커진다.

=== 로지스틱 함수 ===
로짓함수=z 라 하고, 이를 성공확률에 대해서 정리하면 성공확률은=1/(1+e^-z) 의 관계가 얻어진다. 따라서 이를 성공확률로 해석한다. 그리고 이 모양이 s자 형태가 되는데, 이 모양으로부터 시그모이드 함수라고도 부르게 되었다.

학습은 로지스틱함수의 결과값으로 이루어진다.

이진분류가 목표였기 때문에 -무한~+무한 사이의 값을 통제할 방법이 필요했고, 로지스틱 함수가 조건에 잘 들어맞았다. 그리고 이 값이 0.5보다 크면 1, 작다면 0으로 처리해 이진분류를 할 수 있게 되었다.

이제 손실함수에 대해 정의해야 한다. 다중분류를 위한 크로스엔트로피 손실함수를 이진분류버전으로 개량하여 사용하고 있다. 이 함수를 변형하여 실제 정답에 따라 학습시킨다. 정답이 1인 경우 -ln(활성화함수의 출력값), 정답이 0인 경우, -ln(1-활성화함수의 출력값)

손실함수의 미분은 87에 안내. 가중치와 절편 업데이트는 91페이지에.