딥러닝:개요 편집하기 (부분)

===그래디언트 기반 최적화===
각 input에 대한 가중치는 초기에 무작위로 정해진다. 이후 피드백을 기초로 가중치가 점진적으로 수정된다. 손실함수를 통해 모든 가중치를 업데이트하여 수정하는데, 가중치값의 증감에 대한 판단은 어떻게 할까?

변화율을 기반으로 한다. 어떤 변수가 아주 조금 증가할 때 예측함수의 변화율은 선형으로 근사하여 변화를 구할 수 있다. 연속적이고 매끄러운 함수에서 변화율의 반대방향으로 이동시켜주면 함수의 값을 감소시킬 수 있다. x값과 y값이 고정되어 있기 때문에 손실함수는 w,b의 함수가 된다. 손실함수의 편미분이 0이 되는 지점을 찾는 것. 그것이 목표이다.