3-1 Sigmoid & Softmax 이론

신경망의 핵심은 데이터에서 복잡한 패턴을 학습하여 예측을 수행하는 것이다. 이 과정에서 활성화 함수는 매우 중요한 역할을 한다. 오늘은 신경망에서 널리 사용되는 두 가지 활성화 함수, 시그모이드(Sigmoid)와 소프트맥스(Softmax)에 대해 자세히 살펴본다.

로짓에서 확률로: 시그모이드 함수의 유도 과정

시그모이드 함수는 오즈(odds)와 로짓(logit)의 개념에서 출발한다. 오즈는 성공 확률 대 실패 확률의 비율을 의미하며, 로짓은 이 오즈의 로그 값을 취한 것이다. 시그모이드 함수는 로짓의 역함수로, 이를 통해 주어진 로짓 값을 확률로 변환할 수 있다.

 

 

시그모이드 함수: 이진 분류의 핵심

여기서 l은 로짓이며, 시그모이드 함수의 출력값 p는 0과 1 사이의 값을 갖는다. 이는 확률로 해석될 수 있어, 주로 이진 분류 문제에 활용된다. 시그모이드 함수의 가장 큰 특징은 모든 입력에 대해 출력값이 0과 1 사이에 분포한다는 점이다. 이는 결정 경계를 설정하는 데 유용하다.

소프트맥스 함수: 다중 클래스 분류의 선택

소프트맥스 함수는 벡터를 입력으로 받아 각 클래스에 속할 확률을 계산한다.

여기서 pj​는 j번째 클래스에 대한 예측 확률이다. 소프트맥스 함수는 모든 클래스의 확률 합이 1이 되도록 보장한다. 따라서 다중 클래스 분류 문제에 적합하다.

신경망에서의 소프트맥스 층 구조

신경망에서 소프트맥스 층은 다중 클래스 분류 문제의 마지막에 위치한다. 이 층은 각 클래스에 대한 로짓을 입력으로 받아, 소프트맥스 함수를 통해 각 클래스에 속할 확률을 출력한다. 이 과정은 신경망이 다양한 클래스 중에서 가장 가능성이 높은 클래스를 선택할 수 있게 해준다.

신경망의 전방 전파: 특성에서 예측으로

신경망의 전방 전파 과정은 입력 특성에서 최종 예측으로 이어지는 일련의 계산 과정이다. 여기서 시그모이드 또는 소프트맥스 활성화 함수는 마지막 층에서 활용되어, 네트워크의 출력을 확률로 변환한다. 이를 통해 신경망은 주어진 입력 데이터에 대한 결정을 내릴 수 있다.

시그모이드와 소프트맥스 함수는 신경망이 복잡한 데이터 패턴을 학습하고, 이를 바탕으로 분류 결정을 내리는 데 필수적인 역할을 한다. 이 두 활성화 함수를 통해 신경망은 이진 또는 다중 클래스 분류 문제를 효과적으로 해결할 수 있다.