경사하강법
- 전체 데이터를 이용해 업데이트
경사하강법과 확률적 경사하강법 차이점
| 경사하강법 | 확률적 경사하강법 |
| 전체 데이터를 이용해 업데이트 | 확률적으로 선택된 일부 데이터를 이용해 업데이트 |
 |
 |
경사하강법 장단점
- 배치 GD보다 더 빨리, 더 자구 업데이트를 한다
- 자역 최저점을 빠져 나갈 수 있다
- 탐색 경로가 비효율적이다(진폭이 크고 불안정)
네스테로프 모멘텀
- 개선된 모멘텀 방식
아다그리드
- 학습률 감소 방법을 적용해 업데이트
- 처음에는 크게 학습하다가 조금씩 작게 학습한다
- 각각의 가중치에 맞춤형 값을 만든다
728x90
반응형
'빅데이터 분석' 카테고리의 다른 글
| 딥러닝_OpenCV_동영상 띄우기(실습) (0) | 2022.09.22 |
|---|---|
| 딥러닝_OpenCV_이미지 로딩(실습) (0) | 2022.09.22 |
| 딥러닝_오차 역전파 (0) | 2022.09.20 |
| 딥러닝_소프트맥스 함수 (0) | 2022.09.20 |
| 딥러닝_활성화 함수 (0) | 2022.09.20 |