Stochastic Gradient Descent

SGD (Stochastic Gradient Descent)이란? batch size가 1인 경사하강법 알고리즘 입니다. 즉, 확률적 경사하강법은 데이터 세트에서 무작위로 균일하게 선택한 하나의 예를 의존하여 각 단계의 예측 경사를 계산합니다.

batch size : 경사하강법에서 배치는 단일 반복에서 기울기를 계산하는 데 사용하는 예(data)의 총 개수

 

데이터 세트에서 data를 무작위로 선택하면 (노이즈는 있겠지만) 훨씬 적은 데이터 세트로 중요한 평균값을 추정할 수 있습니다. 확률적 경사하강법(SGD)은 이 아이디어를 더욱 확장한 것으로서, 반복당 하나의 data만을 사용합니다.

'확률적(Stochastic)'이라는 용어는 각 배치를 포함하는 하나의 data가 무작위로 선택된다는 것을 의미합니다.

 

• SGD의 단점 : 반복이 충분하면 효과는 있지만 노이즈가 매우 심하다. 확률적 경사하강법의 여러 변형 함수의 최저점에 가까운 점을 찾을 가능성이 높지만 항상 보장되지는 않음
• 단점 극복 : 미니 배치 확률적 경사하강법은 전체 배치 반복과 SGD의 절충안
  • 미니 배치는 무작위로 선택한 10 ~ 1000개의 data로 구성
  • 노이즈를 줄이면서 전체 배치보다 효율적

 

 

 

 

출처: https://www.researchgate.net/figure/Stochastic-gradient-descent-compared-with-gradient-descent_fig3_328106221