딥러닝:개요 - 편집 역사

2021년 3월 26일 (금) 01:49에 Sam님의 편집

2021-03-26T01:49:24Z

← 이전 판		2021년 3월 26일 (금) 01:49 판
102번째 줄:		102번째 줄:

	==딥러닝?==		==딥러닝?==
	인공신경망을 이용해 만드는 인공지능 알고리즘.		인공신경망을 이용해 만드는 인공지능 알고리즘. 머신러닝 안에 딥러닝이 포함되어 있지만, 딥러닝은 인지에 대한 문제를, 머신러닝은 정형화된 데이터에 대한 문제를 잘 해결한다.

	머신러닝의 한 분야로, 연속된 층에서 점진적으로 의미있는 표현을 학습한다. 층이 깊어질수록 데이터의 순도가 높게 정제되는 형태이다.		머신러닝의 한 분야로, 연속된 층에서 점진적으로 의미있는 표현을 학습한다. 층이 깊어질수록 데이터의 순도가 높게 정제되는 형태이다.

	'인지'와 관련한 문제를 잘 해결한다. 정형데이터에 대해선 다른 전략에 밀리는 경향이 있음.		'인지'와 관련한 문제를 잘 해결한다. 정형데이터에 대해선 다른 전략에 밀리는 경향이 있음.

			===기본 원리===
			손실함수를 미분하여 그것이 작아지는 방향으로 가중치를 조절하면서 학습이 이루어진다.

	===응용===		===응용===
155번째 줄:		158번째 줄:
	목표치에서 나온 오차를 줄이기 위해 가중치를 조절한다. 각 가중치들을 독립적으로 수정할 수 있어야 한다. 학습률을 임의로 설정한다.		목표치에서 나온 오차를 줄이기 위해 가중치를 조절한다. 각 가중치들을 독립적으로 수정할 수 있어야 한다. 학습률을 임의로 설정한다.

	=== 과대적합 ===		===과대적합===
	훈련데이터에 너무 잘 적응하여 새로운 데이터에서 잘 수행되지 않는다. 일반적인 목표로 하는 훈련에선 어울리지 않는다.		훈련데이터에 너무 잘 적응하여 새로운 데이터에서 잘 수행되지 않는다. 일반적인 목표로 하는 훈련에선 어울리지 않는다.

	이를 피하기 위해선... 데이터를 많이 모으거나, 저장하는 정보 수에 제약을 가해야 한다.(이를 규제라 한다.)		이를 피하기 위해선... 데이터를 많이 모으거나, 저장하는 정보 수에 제약을 가해야 한다.(이를 규제라 한다.)

	=== 과소적합 ===		===과소적합===
	아직 훈련이 부족한 상태를 의미한다. 데이터의 특성을 잘 찾지 못한 경우. 반복을 통해 해결된다.		아직 훈련이 부족한 상태를 의미한다. 데이터의 특성을 잘 찾지 못한 경우. 반복을 통해 해결된다.

	=== l1규제 ===		===l1규제===
	<br />		<br />

	=== l2규제 ===		===l2규제===

	=== 드롭아웃 ===		===드롭아웃===
	훈련 중, 일부 츨력특성을 0으로 만드는 것. 노이즈를 추가해 중요하지 않은 패턴을 깨뜨리는 것이 목적.		훈련 중, 일부 츨력특성을 0으로 만드는 것. 노이즈를 추가해 중요하지 않은 패턴을 깨뜨리는 것이 목적.

	== 데이터 전처리 ==		==데이터 전처리==
	목적은 원본데이터를 신경망에 적합하게 수정하는 일. 텍스트와 이미지의 특성처리 기법은 다르다.		목적은 원본데이터를 신경망에 적합하게 수정하는 일. 텍스트와 이미지의 특성처리 기법은 다르다.

	=== 벡터화 ===		===벡터화===
	모든 입력, 타깃은 부동소수데이터로 이루어진 텐서여야 한다. 때문에 사운드, 텍스트 등을 변환하여 텐서화 한다.		모든 입력, 타깃은 부동소수데이터로 이루어진 텐서여야 한다. 때문에 사운드, 텍스트 등을 변환하여 텐서화 한다.

	=== 정규화 ===		===정규화===
	범위가 큰 데이터들을 신경망을 주입하는 경우, 그 변동치가 입력에 따라 변하지 않게끔 평균이 0, 표준편차가 1이 되게끔 만들어준다. 균일하지 않은 데이터는 훈련을 방해한다.		범위가 큰 데이터들을 신경망을 주입하는 경우, 그 변동치가 입력에 따라 변하지 않게끔 평균이 0, 표준편차가 1이 되게끔 만들어준다. 균일하지 않은 데이터는 훈련을 방해한다.

	0이 사전에 의미있는 값이 아니라면 누락된 값을 0으로 만들면 작동에 크게 문제가 되지 않는다. 훈련되면 0은 의도적으로 무시하기도 한다. 때문에 일부러 훈련데이터에 누락값을 넣기도 한다.		0이 사전에 의미있는 값이 아니라면 누락된 값을 0으로 만들면 작동에 크게 문제가 되지 않는다. 훈련되면 0은 의도적으로 무시하기도 한다. 때문에 일부러 훈련데이터에 누락값을 넣기도 한다.

	== 특성공학 ==		==특성공학==
	특성을 찾아 벡터화 혹은 수치화 하는 것.		특성을 찾아 벡터화 혹은 수치화 하는 것.

190번째 줄:		193번째 줄:
	<br />		<br />

	== 일반적인 흐름 ==		==일반적인 흐름==
	문제정의 > 데이터셋 수집 > 성공지표 설정 > 진척사항 평가방법 결정(홀드아웃,K-1겹 차검증 등) > 데이터 준비 > 마지막층의 활성화함수 결정>손실함수선택>최적화함수설정>훈련 > 과대적함 모델 구축(과소적합과 과대적합의 경계에 위치한 모델이 이상적)>모델규제>테스트세트에서 단 한번만 실행.		문제정의 > 데이터셋 수집 > 성공지표 설정 > 진척사항 평가방법 결정(홀드아웃,K-1겹 차검증 등) > 데이터 준비 > 마지막층의 활성화함수 결정>손실함수선택>최적화함수설정>훈련 > 과대적함 모델 구축(과소적합과 과대적합의 경계에 위치한 모델이 이상적)>모델규제>테스트세트에서 단 한번만 실행.

	과대적합 모델을 만들기 위해선 층 추가, 층 크기 확대, 더 많은 에포크 훈련으로 가능하다.		과대적합 모델을 만들기 위해선 층 추가, 층 크기 확대, 더 많은 에포크 훈련으로 가능하다.

2020년 10월 21일 (수) 14:41에 Sam님의 편집

2020-10-21T14:41:35Z

@@ 145번째 줄: / 145번째 줄: @@
 영상은 5D텐서.
-=== 그래디언트 기반 최적화 ===
+===그래디언트 기반 최적화===
 각 input에 대한 가중치는 초기에 무작위로 정해진다. 이후 피드백을 기초로 가중치가 점진적으로 수정된다. 손실함수를 통해 모든 가중치를 업데이트하여 수정하는데, 가중치값의 증감에 대한 판단은 어떻게 할까?
@@ 154번째 줄: / 154번째 줄: @@
 목표치에서 나온 오차를 줄이기 위해 가중치를 조절한다. 각 가중치들을 독립적으로 수정할 수 있어야 한다. 학습률을 임의로 설정한다.

Sam: Sam님이 딥러닝이론:개요 문서를 딥러닝:개요 문서로 이동했습니다

2020-10-21T00:48:04Z

Sam님이 딥러닝이론:개요 문서를 딥러닝:개요 문서로 이동했습니다

← 이전 판		2020년 10월 21일 (수) 00:48 판
(차이 없음)

Sam: /* 텐서 */

2020-10-20T05:19:06Z

텐서

@@ 1번째 줄: / 1번째 줄: @@
-{{딥러닝 이론}}
+{{딥러닝}}
 ==개요==
@@ 131번째 줄: / 131번째 줄: @@
 은닉층 하나를 추가할 때마다 계산량은 지수적으로 늘어난다.
-===손실함수===
+===손실함수(목적함수)===
 손실점수를 피드백으로, 이 값이 감소되는 방향으로 가중치 값을 점차 수정한다.
 ===역전파 알고리즘===
@@ 138번째 줄: / 154번째 줄: @@
 목표치에서 나온 오차를 줄이기 위해 가중치를 조절한다. 각 가중치들을 독립적으로 수정할 수 있어야 한다. 학습률을 임의로 설정한다.

Sam: /* 역전파 알고리즘 */

2020-10-19T13:48:36Z

역전파 알고리즘

← 이전 판		2020년 10월 19일 (월) 13:48 판
67번째 줄:		67번째 줄:
	\|}		\|}

	=== 인공지능? ===		===인공지능?===
	1950년대 '컴퓨터가 생각할 수있는가'라는 질문과 사람의 수행을 자유로하하기 위한 목적에서 나왔다.		1950년대 '컴퓨터가 생각할 수있는가'라는 질문과 사람의 수행을 자유로하하기 위한 목적에서 나왔다.

77번째 줄:		77번째 줄:
	데이터와 기대되는 해답을 기입하면 규칙을 얻어낸다. 더 나은 표현을 찾는 과정을 자동화한 것이다.		데이터와 기대되는 해답을 기입하면 규칙을 얻어낸다. 더 나은 표현을 찾는 과정을 자동화한 것이다.

	==== 역사 ====		====역사====
	{\| class="wikitable"		{\| class="wikitable"
	!전망		!전망
108번째 줄:		108번째 줄:
	'인지'와 관련한 문제를 잘 해결한다. 정형데이터에 대해선 다른 전략에 밀리는 경향이 있음.		'인지'와 관련한 문제를 잘 해결한다. 정형데이터에 대해선 다른 전략에 밀리는 경향이 있음.

	=== 응용 ===		===응용===
	글자가 있는 부분의 이미지 인식>잘라내기>텍스트인식 순으로, 2개의 딥러닝을 사용한다.		글자가 있는 부분의 이미지 인식>잘라내기>텍스트인식 순으로, 2개의 딥러닝을 사용한다.

117번째 줄:		117번째 줄:
	예측시스템 : LSTM모델(알고리즘)		예측시스템 : LSTM모델(알고리즘)

	== 기본용어 ==		==기본용어==

	=== 인공신경망 ===		===인공신경망===
	뉴런의 모양을 모방해 신호를 받고 처리 후, 활성화함수를 통해 출력값을 내보낸다.		뉴런의 모양을 모방해 신호를 받고 처리 후, 활성화함수를 통해 출력값을 내보낸다.

	or, and, not 연산이 기본이 된다.		or, and, not 연산이 기본이 된다.

	=== 다층신경망 ===		===다층신경망===
	단일신경망에선 xor연산이 불가능하다.		단일신경망에선 xor연산이 불가능하다.

131번째 줄:		131번째 줄:
	은닉층 하나를 추가할 때마다 계산량은 지수적으로 늘어난다.		은닉층 하나를 추가할 때마다 계산량은 지수적으로 늘어난다.

	=== 손실함수 ===		===손실함수===
	손실점수를 피드백으로, 이 값이 감소되는 방향으로 가중치 값을 점차 수정한다.		손실점수를 피드백으로, 이 값이 감소되는 방향으로 가중치 값을 점차 수정한다.

	=== 역전파 알고리즘 ===		===역전파 알고리즘===
	역방향으로 가중치 오차를 전파해 학습결과를 찾아나간다. 일정 오차범위 안에 들어가면 알고리즘을 종료시킨다.		역방향으로 가중치 오차를 전파해 학습결과를 찾아나간다. 일정 오차범위 안에 들어가면 알고리즘을 종료시킨다.

	목표치에서 나온 오차를 줄이기 위해 가중치를 조절한다. 각 가중치들을 독립적으로 수정할 수 있어야 한다. 학습률을 임의로 설정한다.		목표치에서 나온 오차를 줄이기 위해 가중치를 조절한다. 각 가중치들을 독립적으로 수정할 수 있어야 한다. 학습률을 임의로 설정한다.

			=== 텐서 ===
			다차원 넘파이 배열. 숫자를 저장하기 위한 공간이다.

Sam: /* 전망 */

2020-10-19T13:29:24Z

전망

@@ 3번째 줄: / 3번째 줄: @@
 ==개요==
 머신러닝 중 인공신경망 알고리즘을 사용하여 만든 것.
 ===역사===
@@ 25번째 줄: / 27번째 줄: @@
 |}
-=== 전망 ===
+===전망===
 {| class="wikitable"
 !전망
@@ 55번째 줄: / 57번째 줄: @@
 |오류가 나도 심각한 문제가 없으면서 단순반복작업을 대체할 수 있다.(온라인 광고 이미지 자동검수,
 복잡도가 높은 시스템을 대체하면서 인간의 업무에서 보조적인 역할은 충분히 해줄 수 있다.
 |}
 ===머신러닝?===
 연산결과에 따라 스스로 규칙을 수정하는 기능. 학습을 통해.
 ====지도학습과 비지도학습====
 지도학습은 학습할 데이터를 지정해주는 것. 데이터에 따라 모델을 학습시키고, 학습시킨 모델로 새로운 입력에 대한 예측을 한다.
@@ 71번째 줄: / 103번째 줄: @@
 ==딥러닝?==
 인공신경망을 이용해 만드는 인공지능 알고리즘.
 '인지'와 관련한 문제를 잘 해결한다. 정형데이터에 대해선 다른 전략에 밀리는 경향이 있음.

Sam: /* 개요 */

2020-10-19T08:43:08Z

개요

@@ 4번째 줄: / 4번째 줄: @@
 머신러닝 중 인공신경망 알고리즘을 사용하여 만든 것.
-=== 역사 ===
+===역사===
 {| class="wikitable"
 |+
@@ 14번째 줄: / 14번째 줄: @@
 |-
 |1974
-|첫번째 겨울
+|첫번째 겨울. 낙관론이 무너지면서 찾아왔다.
 |-
+|1987
+|두번째 겨울. 대규모 투자의 성과가 시원찮아 찾아왔다.
 |}
-년
+=== 전망 ===
 ===머신러닝?===
 연산결과에 따라 스스로 규칙을 수정하는 기능. 학습을 통해.

2020년 10월 19일 (월) 04:42에 Sam님의 편집

2020-10-19T04:42:12Z

← 이전 판		2020년 10월 19일 (월) 04:42 판
1번째 줄:		1번째 줄:
	{{딥러닝 이론}}		{{딥러닝 이론}}

	== 개요 ==		==개요==
	머신러닝 중 인공신경망 알고리즘을 사용하여 만든 것.		머신러닝 중 인공신경망 알고리즘을 사용하여 만든 것.

	=== 머신러닝? ===		=== 역사 ===
			{\| class="wikitable"
			\|+
			!년도
			!사건
			\|-
			\|1956
			\|인공지능이라는 용어 탄생
			\|-
			\|1974
			\|첫번째 겨울
			\|-
			\|
			\|
			\|}
			년

			년

			===머신러닝?===
	연산결과에 따라 스스로 규칙을 수정하는 기능. 학습을 통해.		연산결과에 따라 스스로 규칙을 수정하는 기능. 학습을 통해.

	==== 지도학습과 비지도학습 ====		====지도학습과 비지도학습====
	지도학습은 학습할 데이터를 지정해주는 것. 데이터에 따라 모델을 학습시키고, 학습시킨 모델로 새로운 입력에 대한 예측을 한다.		지도학습은 학습할 데이터를 지정해주는 것. 데이터에 따라 모델을 학습시키고, 학습시킨 모델로 새로운 입력에 대한 예측을 한다.

	비지도학습은 타깃이 없는 데이터를 사용한다. 무작위한 데이터를 분류하여 그룹화 하거나 새로운 그룹을 만드는 것. 타깃이 없어, 훈련결과를 평가하기 어렵다.		비지도학습은 타깃이 없는 데이터를 사용한다. 무작위한 데이터를 분류하여 그룹화 하거나 새로운 그룹을 만드는 것. 타깃이 없어, 훈련결과를 평가하기 어렵다.

	==== 강화학습 ====		====강화학습====
	행동에 따라 보상과 현재상태에 대한 피드백으로 훈련한다.		행동에 따라 보상과 현재상태에 대한 피드백으로 훈련한다.

	Q러닝, SARSA, DQN(Deep Q Network) 등의 알고리즘이 있다.		Q러닝, SARSA, DQN(Deep Q Network) 등의 알고리즘이 있다.

	== 딥러닝? ==		==딥러닝?==
	인공신경망을 이용해 만드는 인공지능 알고리즘.		인공신경망을 이용해 만드는 인공지능 알고리즘.

	'인지'와 관련한 문제를 잘 해결한다. 정형데이터에 대해선 다른 전략에 밀리는 경향이 있음.		'인지'와 관련한 문제를 잘 해결한다. 정형데이터에 대해선 다른 전략에 밀리는 경향이 있음.

2020년 10월 15일 (목) 12:01에 Sam님의 편집

2020-10-15T12:01:51Z

@@ 1번째 줄: / 1번째 줄: @@
 {{딥러닝 이론}}
-<br />
+== 개요 ==
-<br />
+머신러닝 중 인공신경망 알고리즘을 사용하여 만든 것.

Sam: 내용을 "{{딥러닝 이론}}

"(으)로 바꿈

2020-10-12T23:30:42Z

내용을 "{{딥러닝 이론}} <br /> <br />"(으)로 바꿈

← 이전 판		2020년 10월 12일 (월) 23:30 판
2번째 줄:		2번째 줄:

	<br />		<br />
			<br />
	~~== 개요 ==~~
	~~머신러닝 중 인공신경망 알고리즘을 사용하여 만든 것.~~

	~~== 머신러닝? ==~~
	~~연산결과에 따라 스스로 규칙을 수정하는 기능. 학습을 통해.~~

	~~=== 지도학습과 비지도학습 ===~~
	~~지도학습은 학습할 데이터를 지정해주는 것. 데이터에 따라 모델을 학습시키고, 학습시킨 모델로 새로운 입력에 대한 예측을 한다.~~

	비지도학습은 타깃이 없는 데이터를 사용한다. 무작위한 데이터를 분류하여 그룹화 하거나 새로운 그룹을 만드는 것. 타깃이 없어, 훈련결과를 평가하기 어렵다.

	~~=== 강화학습 ===~~
	~~행동에 따라 보상과 현재상태에 대한 피드백으로 훈련한다.~~

	~~Q러닝, SARSA, DQN(Deep Q Network) 등의 알고리즘이 있다.~~