전체 글 210
딥러닝_전이학습(Transfer Learning)

전이학습(Transfer Learning)이란 - 다른 데이터 셋을 사용하며 이미 학습한 모델을 유사한 다른 데이터를 인식하는데 사용하는 기법이다 - 이 방법은 특히 새로 훈련시킬 데이터가 충분히 확보되지 못한 경우에 합습 효율을 높여준다 - 사전학습모델을 이용하는 방법은 특성 추출(fearure extraction)방식과 미세조정(fine-tuning) 방식이 있다 전이학습 특성 추출 방식 - 컨볼류션 베이스 부분만 재사용하는 이유는 이 부분은 상당히 일반적인 학습정보를 포함하고 있기 때문이다 - 컨볼류션 계층에서도 재사용할 수 있는 정보의 수준은 몇 번째 계층인지에 따라 다르다. 모델의 앞 단의 계층일수록 에지, 색상, 텍스처 등 일반적인 정보를 담는다 - 반면에 뒷 부분의 깊은 계층일수록 추상적인 ..
빅데이터 분석 2022.09.27

딥러닝_CNN

MLP 이미지 분석 - MLP은 층이 깊어지고 뉴런의 수가 많아지면 가중치 수가 급격히 늘어난다 - MLP 신경망을 이미지 처리에 사용한다면 이미지의 어떤 특성 패턴이 존재하는 위치에 민감하게 동작하며 패턴의 위치에 종속적인 결과를 얻는다 - MLP는 아래 세 개의 5는 패턴이 다르다고 판단한다 - MLP로 이러한 숫자 인식을 하려면 숫자의 크기를 비슷하게 맞추어야 한다. CNN(Convolution Neural Network) - 1998년 Yann Lecun 교수에 의해 19950년대 수행했던 고양이의 뇌파 실험에 영감을 얻어 이미지 인식을 획기적으로 개선할 수 있는 CNN 제안 - 고양이의 눈으로 보는 사물의 형태에 따라 뇌의 특정영역(뉴런)만 활성화 된다는 결과를 기반으로 제안 CNN 구조 - C..
빅데이터 분석 2022.09.24

딥러닝_경사하강법

경사하강법 - 전체 데이터를 이용해 업데이트 경사하강법과 확률적 경사하강법 차이점 경사하강법 확률적 경사하강법 전체 데이터를 이용해 업데이트 확률적으로 선택된 일부 데이터를 이용해 업데이트 경사하강법 장단점 - 배치 GD보다 더 빨리, 더 자구 업데이트를 한다 - 자역 최저점을 빠져 나갈 수 있다 - 탐색 경로가 비효율적이다(진폭이 크고 불안정) 네스테로프 모멘텀 - 개선된 모멘텀 방식 아다그리드 - 학습률 감소 방법을 적용해 업데이트 - 처음에는 크게 학습하다가 조금씩 작게 학습한다 - 각각의 가중치에 맞춤형 값을 만든다
빅데이터 분석 2022.09.20

딥러닝_활성화 함수

활성화 함수 - 신경망은 한 계층의 신호를 다음 계층으로 그대로 전달하지 않고 비선형적인 활성화 함수를 거친 후에도 전달한다 - 이렇게 하는 이유는 생물학적인 신경망을 모방하는 것 => 약한 신호는 전달하지 않고 어느 이상의 신호도 전달하지 않는 "S"자 형 곡선과 같이 "비선형적"인 반응을 한다고 생각했다 - 실제로 비선형의 활성화 함수를 도입한 신경망이 잘 동작하고 있다 Sigmoid 함수 활성화 함수로 비선형 함수를 사용하는 이유 - 계단 함수와 시그모이드 함수는 비선형 함수이다 - 활성화 함수로 선형함수 ex) h(z) = cz를 사용하면 중간층(은닉층)을 여러개 구성한 효과를 살릴 수 없다 Step와 Sigmoid의 차이 - 선형 모델이 학습하기 위해서 경사하강법을 사용 문제 유형에 따라 사용되..
빅데이터 분석 2022.09.20
1 2 3 4 ··· 21
더보기

티스토리툴바