2-1 Dense Layer 이론

Dense Layer 의 구성 요소:

• 뉴런 벡터와 층(Layer): 뉴런 벡터는 해당 층의 뉴런의 출력값들을 나타낸다. 각 층(Layer)는 하나 이상의 뉴런으로 구성되며, 각 뉴런은 다음 층으로의 입력값을 생성한다.
• 가중치와 바이어스(Weights and Bias): 각 밀집층은 입력에 적용되는 가중치 행렬(W[i])과 바이어스 벡터(b[i])를 가진다. 가중치는 입력 신호의 중요도를 조절하고, 바이어스는 뉴런의 활성화 임계값을 조정한다.

전방 전파(Forward Propagation):

• 계산 과정: 입력 벡터는 가중치 행렬과 내적한 다음, 바이어스가 더해지고 활성화 함수를 통과하여 출력 벡터를 생성한다. 이 과정은 첫 번째 층에서 시작하여 네트워크를 통해 순차적으로 진행된다.
• 활성화 함수(Activation Function): 비선형 변환을 제공하여 신경망이 복잡한 패턴과 함수를 학습할 수 있게 한다.

미니배치 처리(Minibatch Processing):

• 신경망은 종종 미니배치로 데이터를 처리하여 계산 효율성을 높인다. 미니배치는 동시에 여러 개의 입력을 네트워크에 공급하는 것을 말하며, 각 입력 벡터에 대한 연산을 병렬로 수행한다.

연쇄된 밀집층(Cascaded Dense Layers):

• 다층 구조: 신경망은 일련의 밀집층으로 구성될 수 있으며, 각 층의 출력은 다음 층의 입력으로 사용된다. 이를 통해 네트워크는 복잡한 특징과 패턴을 학습할 수 있다.
• 층별 파라미터: 각 층은 독립적인 가중치와 바이어스를 가지며, 이는 학습 과정에서 최적화된다.

중요성:

밀집층은 신경망의 기본적인 구성 요소로, 신경망이 복잡한 함수를 근사할 수 있게 하는 중요한 역할을 한다. 각 층의 가중치와 바이어스는 네트워크가 훈련 데이터로부터 패턴을 학습하고, 이를 기반으로 예측을 수행할 수 있게 해준다. 이러한 구조는 신경망이 이미지 인식, 언어 처리, 게임 플레이와 같은 다양한 고차원 문제를 해결하는 데 필수적이다.