머신러닝에서 경사하강법(gradient descent) 알고리즘은 빼놓을 수 없는 핵심 알고리즘 중 하나이다. 딥러닝을 한번쯤 공부해본 사람이라면 SGD, Adam 등 옵티마이저(optimizer)를 본 적이 있을 것이다. 이번 포스트의 주제는 바로 최적화 과정에서 사용되는 경사하강법 알고리즘이다. 앞서 머신러닝은 목적함수(loss function)를 최소화하는 최적화 과정이라고 설명하였다. 자세한 내용은 최적화 포스트에 다루었으니 목적함수가 뭔지 모른다면 보고 오도록 하자. 간단한 함수에서의 경사하강법 경사하강법의 목적은 목적함수를 최소화하는 매개변수(parameter)를 찾는 알고리즘이다. 다음 아래의 함수를 보자. 위의 함수는 $y=x^2-6x+12$로 아주 간단한 형태의 함수이다. 함수의 최솟값을..
