딥러닝:개요 편집하기 (부분)

==기본용어==

===인공신경망===
뉴런의 모양을 모방해 신호를 받고 처리 후, 활성화함수를 통해 출력값을 내보낸다.

or, and, not 연산이 기본이 된다.

===다층신경망===
단일신경망에선 xor연산이 불가능하다.

인공신경망에 은닉층을 사용하여 계산한다. 은닉층은 데이터의 특성을 파악하는 역할을 한다.

은닉층 하나를 추가할 때마다 계산량은 지수적으로 늘어난다.

===손실함수(목적함수)===
손실점수를 피드백으로, 이 값이 감소되는 방향으로 가중치 값을 점차 수정한다.

===텐서===
다차원 넘파이 배열. 숫자를 저장하기 위한 공간이다.

셈플, 특징을 파악하기 위해선 2D텐서를 사용하고, 시계열을 위해선 3D텐서가 이용된다. 이미지는 4D텐서.(가로세로,색상,체널)

보통 첫번째 축은 샘플 축, 두번째 축은 특성 축에 넣는다.

시계열분석을 위해선 시간, 순서에 대한 것은 관습적으로 2번째 축에.

영상은 5D텐서.

===그래디언트 기반 최적화===
각 input에 대한 가중치는 초기에 무작위로 정해진다. 이후 피드백을 기초로 가중치가 점진적으로 수정된다. 손실함수를 통해 모든 가중치를 업데이트하여 수정하는데, 가중치값의 증감에 대한 판단은 어떻게 할까?

변화율을 기반으로 한다. 어떤 변수가 아주 조금 증가할 때 예측함수의 변화율은 선형으로 근사하여 변화를 구할 수 있다. 연속적이고 매끄러운 함수에서 변화율의 반대방향으로 이동시켜주면 함수의 값을 감소시킬 수 있다. x값과 y값이 고정되어 있기 때문에 손실함수는 w,b의 함수가 된다. 손실함수의 편미분이 0이 되는 지점을 찾는 것. 그것이 목표이다.

===역전파 알고리즘===
역방향으로 가중치 오차를 전파해 학습결과를 찾아나간다. 일정 오차범위 안에 들어가면 알고리즘을 종료시킨다.

목표치에서 나온 오차를 줄이기 위해 가중치를 조절한다. 각 가중치들을 독립적으로 수정할 수 있어야 한다. 학습률을 임의로 설정한다.

===과대적합===
훈련데이터에 너무 잘 적응하여 새로운 데이터에서 잘 수행되지 않는다. 일반적인 목표로 하는 훈련에선 어울리지 않는다.

이를 피하기 위해선... 데이터를 많이 모으거나, 저장하는 정보 수에 제약을 가해야 한다.(이를 규제라 한다.)

===과소적합===
아직 훈련이 부족한 상태를 의미한다. 데이터의 특성을 잘 찾지 못한 경우. 반복을 통해 해결된다.

===l1규제===
<br />

===l2규제===

===드롭아웃===
훈련 중, 일부 츨력특성을 0으로 만드는 것. 노이즈를 추가해 중요하지 않은 패턴을 깨뜨리는 것이 목적.