경사하강법(Gradient Descent) - AI는 어떻게 가장 낮은 손실을 찾을까?

8월 02, 2026

경사하강법(Gradient Descent)이란? AI는 어떻게 가장 낮은 손실을 찾을까?

지난 글에서는 손실 함수(Loss Function)가 AI의 예측이 얼마나 틀렸는지를 숫자로 알려준다는 것을 알아보았습니다.

그렇다면 새로운 궁금증이 생깁니다.

"손실이 크다는 것은 알겠는데, AI는 어떻게 손실을 줄일까요?"

AI는 아무 방향으로나 가중치를 바꾸지 않습니다.

손실이 가장 빨리 줄어드는 방향을 찾아 조금씩 이동합니다.

이 방법을 경사하강법(Gradient Descent)이라고 합니다.

이번 글에서는 경사하강법이 무엇이며 왜 AI 학습에서 중요한지 쉽게 알아보겠습니다.

안개 낀 산을 내려간다고 생각해 봅시다

안개가 짙게 낀 높은 산 정상에 있다고 상상해 보겠습니다.

주변이 잘 보이지 않습니다.

하지만 목표는 하나입니다.

가장 낮은 골짜기까지 내려가는 것.

어느 방향으로 내려가야 할지 모를 때 사람은 어떻게 할까요?

주변을 조금 살펴보고

가장 아래로 내려가는 방향으로

한 걸음씩 이동합니다.

그리고 다시 주변을 살펴봅니다.

이 과정을 반복하다 보면

결국 가장 낮은 곳에 도착하게 됩니다.

AI도 똑같습니다.

손실 값이 가장 빨리 줄어드는 방향으로

조금씩 이동하며

가장 낮은 손실 값을 찾습니다.

경사하강법이란?

경사하강법은

손실이 가장 많이 줄어드는 방향으로 가중치를 조금씩 수정하는 방법입니다.

쉽게 말하면

AI가 가장 좋은 답을 찾기 위해

조금씩 방향을 수정하며 내려가는 과정입니다.

현재 위치

↓

손실 확인

↓

더 낮아지는 방향 찾기

↓

조금 이동

↓

다시 손실 확인

↓

반복

이 과정을 반복하면

AI는 점점 더 좋은 가중치를 찾게 됩니다.

골프공도 가장 낮은 곳으로 굴러갑니다

골프공을 언덕 위에 올려두면

공은 스스로 가장 낮은 방향으로 굴러갑니다.

공은

"왼쪽으로 갈까?"

"오른쪽으로 갈까?"

생각하지 않습니다.

그저 경사가 가장 낮은 방향으로 움직입니다.

경사하강법도 같습니다.

AI는 손실이 가장 많이 줄어드는 방향을 찾아

가중치를 조금씩 변경합니다.

왜 한 번에 크게 움직이지 않을까?

그렇다면

"한 번에 크게 움직이면 더 빨리 도착하지 않을까?"

라는 생각이 들 수 있습니다.

하지만 너무 크게 움직이면

목표를 지나쳐 버릴 수도 있습니다.

계단을 내려간다고 생각해 보겠습니다.

한 칸씩 내려가면 안전합니다.

하지만 다섯 칸을 한 번에 뛰어내리면

넘어질 수도 있습니다.

AI도 같습니다.

가중치를 너무 크게 수정하면

오히려 손실이 더 커질 수도 있습니다.

그래서 조금씩 수정하는 것이 중요합니다.

학습률(Learning Rate)이란?

여기서 등장하는 것이

학습률(Learning Rate)입니다.

학습률은

한 번에 얼마나 이동할지를 결정하는 값입니다.

쉽게 말하면

걸음의 크기입니다.

학습률이 너무 작다면

조금씩만 움직이기 때문에

목표까지 도착하는 데

오랜 시간이 걸립니다.

학습률이 너무 크다면

목표를 지나쳐

왔다 갔다 할 수 있습니다.

적절한 학습률이라면

가장 빠르고 안정적으로

목표에 도착할 수 있습니다.

손실 값은 점점 줄어듭니다

경사하강법이 잘 작동하면

학습이 반복될수록

손실 값이 점점 감소합니다.

0.9

↓

0.7

↓

0.4

↓

0.1

손실 값이 줄어든다는 것은

AI가 정답에 가까워지고 있다는 의미입니다.

언제 멈출까?

AI는 계속 학습하지 않습니다.

손실 값이 충분히 작아져

더 이상 크게 줄어들지 않는다고 판단하면

학습을 종료합니다.

즉,

골짜기의 가장 낮은 곳에 도착했다고 판단하면

더 이상 내려가지 않는 것입니다.

항상 가장 좋은 답을 찾을까?

아쉽게도 항상 그렇지는 않습니다.

산에는

가장 낮은 골짜기 하나만 있는 것이 아니라,

중간중간 작은 웅덩이도 있을 수 있습니다.

AI는

작은 골짜기를 가장 낮은 곳이라고 착각하고

멈출 수도 있습니다.

이를 지역 최솟값(Local Minimum)이라고 합니다.

반대로

전체에서 가장 낮은 골짜기는

전역 최솟값(Global Minimum)이라고 합니다.

초보자는 이름만 알고 넘어가도 충분합니다.

중요한 것은

AI가 가능한 한 손실이 작은 곳을 찾기 위해 계속 움직인다는 것입니다.

지금까지의 학습 과정

이제 AI가 학습하는 과정을 모두 연결해 보면 다음과 같습니다.

입력

↓

가중치 계산

↓

편향 적용

↓

활성화 함수

↓

예측

↓

손실 함수

↓

역전파

↓

경사하강법

↓

가중치 수정

↓

다시 예측

이 과정을 수천 번, 수만 번 반복하면서

AI는 점점 더 정확한 모델이 됩니다.

한눈에 정리하기

개념	쉽게 말하면
손실 함수	얼마나 틀렸는지 계산
역전파	어디를 수정할지 찾기
경사하강법	어떻게 수정할지 결정
학습률	한 번에 얼마나 이동할지 결정

즉,

손실 함수 = 점수판
역전파 = 원인 분석
경사하강법 = 수정 방향 결정
학습률 = 걸음 크기

라고 기억하면 됩니다.

마무리

경사하강법은 AI가 손실 값을 줄이기 위해 가장 좋은 방향으로 조금씩 가중치를 수정하는 방법입니다.

손실 함수가 현재 점수를 알려주고,

역전파가 어떤 부분을 수정해야 하는지 찾아낸다면,

경사하강법은 실제로 어느 방향으로 얼마나 이동할지를 결정합니다.

이 세 가지가 함께 동작하기 때문에 AI는 점점 더 정확한 답을 예측할 수 있습니다.

이제 우리는 AI가 학습하는 핵심 원리를 모두 이해했습니다.

다음부터는 실제 딥러닝 모델들이 어떻게 이미지를 이해하는지 살펴볼 차례입니다.

💡 오늘의 핵심

경사하강법은 AI가 손실이 가장 빨리 줄어드는 방향을 찾아, 가중치를 조금씩 수정하는 학습 방법입니다.

이 블로그 검색

APisLab