가중치(Weight)와 편향(Bias)이란?
가중치(Weight)와 편향(Bias)이란? AI는 무엇을 중요하게 생각할까?
지난 글에서는 퍼셉트론이 인공신경망을 이루는 가장 작은 단위라는 것을 알아보았습니다.
퍼셉트론은 입력을 받아 계산한 뒤 결과를 출력하는 작은 계산기와 같습니다.
그런데 여기서 한 가지 궁금한 점이 생깁니다.
"퍼셉트론은 어떻게 어떤 정보가 중요한지 알 수 있을까요?"
사람도 모든 정보를 똑같이 중요하게 생각하지 않듯이, AI도 입력되는 정보마다 중요도를 다르게 판단합니다.
이 역할을 하는 것이 바로 가중치(Weight)와 편향(Bias)입니다.
이번 글에서는 이 두 개념을 최대한 쉽게 알아보겠습니다.
사람도 모든 정보를 똑같이 보지 않습니다
친구를 알아본다고 생각해 보겠습니다.
우리는 친구를 볼 때
얼굴
눈
머리 모양
목소리
옷
등 여러 가지 정보를 함께 봅니다.
하지만 모든 정보를 똑같이 중요하게 생각하지는 않습니다.
예를 들어 친구가 옷을 바꿔 입었다고 해서 다른 사람이라고 생각하지는 않습니다.
반대로 얼굴이 완전히 달라진다면 알아보기 어렵겠죠.
즉,
우리의 뇌는 자연스럽게
얼굴은 중요하게
옷은 덜 중요하게
생각합니다.
AI도 같은 방식으로 학습합니다.
가중치(Weight)란?
가중치는 쉽게 말해
"이 정보가 얼마나 중요한가?"를 나타내는 값입니다.
예를 들어 AI가 고양이를 찾는다고 가정해 보겠습니다.
고양이 사진에는
귀
눈
수염
꼬리
배경
같은 다양한 정보가 있습니다.
하지만 AI는 학습을 하면서
귀와 눈은 중요하고,
배경은 크게 중요하지 않다는 것을 배우게 됩니다.
즉,
중요한 정보에는 높은 가중치를,
덜 중요한 정보에는 낮은 가중치를 부여합니다.
처음부터 중요도를 아는 것은 아닙니다
AI는 처음부터
"고양이 귀가 중요하다."
는 것을 알고 있는 것이 아닙니다.
처음에는 거의 아무것도 모르는 상태에서 시작합니다.
그래서 처음에는
배경을 더 중요하게 생각할 수도 있고,
수염을 가장 중요하게 생각할 수도 있습니다.
하지만 수많은 사진을 반복해서 학습하면서
조금씩
"귀가 중요하구나."
"눈도 중요하네."
"배경은 크게 상관없네."
를 배우게 됩니다.
이 과정에서 가중치는 계속 수정됩니다.
처음 학습
↓
틀린 예측
↓
가중치 수정
↓
다시 예측
↓
더 정확한 결과
편향(Bias)은 무엇일까?
가중치가 정보의 중요도라면,
편향은 판단의 기준이라고 생각하면 쉽습니다.
조금 더 쉬운 예를 들어보겠습니다.
자동문을 떠올려 보세요
자동문은
사람이 가까이 오면 열립니다.
하지만 멀리 있는 사람까지 모두 인식한다면 어떻게 될까요?
문이 계속 열렸다 닫혔다 하면서 불편할 것입니다.
그래서 자동문은
"이 정도 이상 가까워져야 열린다."
라는 기준을 가지고 있습니다.
AI의 편향도 이와 비슷합니다.
입력된 정보가 일정 기준을 넘었을 때만
다음 단계로 신호를 전달합니다.
가중치와 편향은 함께 일합니다
가중치만 있으면
정보의 중요도는 알 수 있지만,
언제 판단해야 하는지는 알 수 없습니다.
반대로
편향만 있으면
기준은 만들 수 있지만,
무엇이 중요한지는 알 수 없습니다.
그래서 퍼셉트론은
두 값을 함께 사용합니다.
입력
↓
가중치
↓
편향
↓
결과
즉,
가중치는 중요한 정보를 찾고,
편향은 판단 기준을 정합니다.
AI는 가중치를 계속 수정합니다
AI가 학습한다는 말은
사실 가중치를 조금씩 수정한다는 의미와 거의 같습니다.
예를 들어
처음에는
고양이 귀의 중요도가 낮게 설정되어 있었다면,
계속 틀린 답을 내면서
귀의 중요도를 조금씩 높여 갑니다.
반대로
배경처럼 필요 없는 정보는
점점 중요도를 낮추게 됩니다.
이 과정을 수천 번, 수만 번 반복하면서
AI는 점점 더 정확한 답을 맞히게 됩니다.
ChatGPT도 수많은 가중치를 가지고 있습니다
지금 여러분이 사용하고 있는 ChatGPT도
엄청난 수의 가중치를 가지고 있습니다.
이 가중치들은
어떤 단어가 중요한지,
어떤 문장이 자연스러운지,
어떤 답변이 적절한지를 판단하는 기준이 됩니다.
즉, ChatGPT가 똑똑한 이유는
많은 정보를 외워서가 아니라,
수많은 가중치를 학습했기 때문입니다.
한눈에 정리하기
| 개념 | 쉽게 말하면 |
|---|---|
| 가중치(Weight) | 정보의 중요도 |
| 편향(Bias) | 판단 기준 |
예를 들어
친구를 알아볼 때
얼굴은 중요하다 → 가중치
이 정도 닮으면 같은 사람이다 → 편향
이라고 생각하면 이해하기 쉽습니다.
마무리
가중치와 편향은 퍼셉트론이 올바른 판단을 내리기 위해 꼭 필요한 요소입니다.
가중치는 어떤 정보가 중요한지를 결정하고,
편향은 언제 결과를 출력할지를 결정합니다.
AI는 처음부터 정답을 알고 있는 것이 아니라,
학습을 반복하면서 이 두 값을 조금씩 수정해 나갑니다.
그렇다면 AI는 가중치를 얼마나 수정해야 하는지 어떻게 알 수 있을까요?
그 비밀은 바로 활성화 함수와 역전파에 있습니다.
이는 다음 글에서 이어서 살펴보도록 하겠습니다.
댓글
댓글 쓰기